CatVTON:
Concatenation Is All You Need

Research gap

ReferenceNet 与 CLIP、DINOv2 图像编码器增加参数、显存和推理时间；服装细节保存又未必受益于为分类或语义对齐训练的压缩表示。论文寻找一种保持像素级条件、又复用预训练扩散先验的路径。

证据边界

论文验证了 VITON-HD、DressCode、DeepFashion 衣服迁移和若干 in-the-wild 样例。它没有给出人体身份、服装 logo 字符级正确率、跨种族公平性或真实电商用户研究。

输入与输出

目标人物图像为 \(I_p\in\mathbb{R}^{3\times H\times W}\)，服装参考为 \(I_g\in\mathbb{R}^{3\times H\times W}\)。mask-based 模型还接收衣服无关二值 mask \(M\in\mathbb{R}^{H\times W}\)。输出 \(\widetilde I_p\) 保留人物身份、姿态和背景，同时把参考服装映射到指定区域。

mask 语义

论文公式用 \(I_p\otimes M\) 表示输入人物图。官方代码的白色 mask 表示需要重绘的区域，并计算 masked_image = image * (mask < 0.5)。因此代码中的 mask 与论文公式里的保留掩码采用互补约定，阅读公式时必须先确认 \(M\) 的取值语义。

mask-based 张量

以宽度拼接记号说明：噪声 \(z_t\in\mathbb{R}^{4\times H/8\times W/4}\)，拼接 mask \(M_i\in\mathbb{R}^{1\times H/8\times W/4}\)，条件 \(X_i\in\mathbb{R}^{4\times H/8\times W/4}\)。沿 channel 拼接得到 9 通道，匹配 Stable Diffusion v1.5 inpainting UNet。

mask-free 张量

InstructPix2Pix 版本将四通道噪声与四通道联合条件沿 channel 拼接，形成 8 通道输入。它不提供显式 mask；模型从原人物与服装的联合条件中学习重绘范围。

删除的组件

文本编码器完全移除；原 UNet 的 attn2 cross-attention processor 被替换为直接返回 hidden states 的 SkipAttnProcessor。CLIP/DINO 图像编码器和 ReferenceNet 均不加入核心网络，合计减少 167.02M 文本相关参数，并避免复制 UNet。

冻结的组件

VAE、UNet ResNet block、FFN、归一化层和 cross-attention 路径保持冻结或被跳过。发布 checkpoint 只加载名为 attention 的模块集合；官方工具按模块名包含 attn1 选择 self-attention。

单数据集定量模型

• Base：Stable Diffusion v1.5 inpainting（mask-based）与 InstructPix2Pix（mask-free）
• 分辨率：\(512\times384\)
• 步数：16,000
• 全局 batch size：128
• 优化器：AdamW
• 学习率：常数 \(10^{-5}\)
• DREAM：\(\lambda=10\)

三数据集多任务模型

• 训练数据：约 73K image pairs
• 分辨率：\(1024\times768\)
• 步数：48,000
• 全局 batch size：32
• 其余设置与单数据集模型相同
• 硬件：8×NVIDIA A800 80GB
• 16K steps 约 10 小时；PyTorch 2.1.2 + Diffusers

公开信息缺口

论文未报告 AdamW 的 \(\beta_1,\beta_2\)、weight decay、warmup、gradient clipping、precision、gradient accumulation、数据增强、noise scheduler 训练配置与 checkpoint 选择准则。复现时需要自行决定这些项，并把它们与论文报告结果区分。

10% 条件 dropout

训练时有 10% 概率丢弃服装条件，建立无条件分支；推理时通过 CFG 组合无条件和有条件噪声预测。这里的“条件”是服装 latent，系统没有文本 prompt。

mask-based 所需输入

核心模型需要人物、服装和二值 mask。论文把 mask 视为输入；官方 Gradio 为便利性额外运行 DensePose 与两套 SCHP 自动生成 mask。这项预处理属于应用封装，核心网络仍可直接使用用户 mask。

mask-free 所需输入

只需人物与服装；其代价是先用 mask-based 模型构造伪配对训练数据。结果表显示 mask-free 在 DressCode paired SSIM 与 LPIPS 更好，在多数分布指标上 mask-based 更好。

已核实的 UNet 路径

• DDIMScheduler 从 base checkpoint 读取
• VAE 使用 stabilityai/sd-vae-ft-mse
• cross-attention processor 直接跳过
• self-attention processor 保持标准 PyTorch scaled dot-product attention
• 发布权重目录仅加载 attention
• 联合 noise 每步生成完整两半，最终只解码人物半幅

应用层额外处理

Gradio 自动 mask 使用 DensePose 与 SCHP，随后对 mask 做 blur；评测脚本支持 repaint，把生成结果按高斯模糊 mask 与原人物重新混合。这些步骤会影响最终边界观感，论文表格是否使用 repaint 需要结合命令参数复现记录。

训练代码状态

官方仓库发布了推理、评测、自动 mask 与 checkpoint，没有发布论文 UNet 版本的训练代码。MSE 的空间监督范围、数据采样比例、DREAM 的具体实现、optimizer 其余参数都无法从仓库核实。

CatVTON-FLUX 的地位

仓库在 2024 年 12 月加入 FLUX.1-Fill-dev 的 37.4M LoRA 试验版。它移除 FLUX joint transformer 中的文本分支，使用图像 token 与单分支 attention；这套代码是论文之后的工程扩展，ICLR 主实验、表格和 49.57M 参数结论都对应 Stable Diffusion UNet 版本。

Strengths

• 用空间拼接统一人物与服装表示，结构清楚，移除了多套重复编码网络。
• 训练模块消融同时报告质量、参数、IPS 与显存，效率主张有直接证据。
• 主表覆盖两数据集、paired 与 unpaired 设置，baseline 范围较完整。
• 附录公开 mask-free 伪数据、硬件软件环境、x/y 拼接与 DiT 迁移。

Weaknesses

• 训练代码与若干关键 optimizer、监督范围未公开，完整复现受限。
• 自动 mask 与论文“无需预处理”的表达容易混淆；mask-based 核心模型仍依赖 mask 质量。
• 定量指标对 logo 字符、细密重复纹理与服装身份的测量不足。
• 野外对比含不同可用输入限制，公平性有限。
• 未报告多件服装组合、极端遮挡、手部交互和长期稳定性。