Paper Deep Reading · CVPR 2025 eLVM Workshop

DEFT-VTON:
Consistent Generalised H-Transform

冻结预训练 autoencoder 与 score diffusion U-Net，只训练 35.3M 参数的条件引导网络；随后在同一个 \(h\)-transform 上加入 trajectory consistency 约束，把常用推理预算压到 15 次函数评估。

Xingzi Xu* · Qi Li* · Shuwen Qiu · Julien Han · Karim Bouyarmane* Equal contributionCVPR 2025 eLVM WorkshoparXiv:2509.13506v1正式正文 10 页 + 补充材料 3 页
00 · Paper identity

出版身份与证据范围

作者与机构

Xingzi Xu*†（Amazon、Duke University）、Qi Li*（Amazon）、Shuwen Qiu†（UCLA）、Julien Han（Amazon）、Karim Bouyarmane（Amazon）。论文脚注把星号定义为 Equal contribution，十字符号定义为实习期间完成。

论文、正式出版页与项目页都没有通讯作者标记。末位作者 Karim Bouyarmane 记录为未核实通讯候选人。

版本关系

CVF 正式论文为 10 页，补充材料为 3 页；本地 arXiv v1 PDF 将两者合并为 13 页。CVF 元数据记录页码 3333–3342，PDF 页脚印有 3308–3317，存在出版元数据与 PDF 页脚差异。

项目页公开于 deft-vton.github.io。截至核查时，官方 GitHub 仓库只含项目网页、GIF 与视频，没有模型训练、推理代码或权重。

论文内部术语差异：方法与实现小节称骨干为 score diffusion U-Net，结论称其为 diffusion transformer。公开结构图和算法均按 U-Net 表述；没有代码可用于消除这一差异。
01 · 研究问题02 · 输入、输出与数学03 · 网络与数据流04 · 两阶段训练与 adaptive loss05 · 数据与掩码06 · 完整实验表07 · 复现参数与缺失项08 · 证据边界09 · Reviewer 评论10 · 一手来源
01 · Research motivation

条件能力与大模型训练成本之间的缺口

高质量 VTO 通常要改动大型 diffusion 模型，或在每个采样步骤额外计算昂贵 guidance。DEFT-VTON 的核心假设是：预训练生成器已经掌握通用图像先验，VTO 所缺的主要成分可以表示为条件 score 的增量，并由一个小型辅助网络学习。

1.42%
35.3M h-transform 参数，相对约 2.484B 冻结骨干
15
论文主张的低 NFE 推理工作点
40%
相对 25 步到 15 步的函数评估减少量

研究缺口

PEFT baseline 仍训练 U-Net 的 self-attention，约占骨干 5.51%；DEFT 路线把骨干完全冻结，把条件修正移到独立辅助网络。这样可以降低可训练参数量，并为后续替换更大的基础模型保留接口。

速度问题

单纯 DSM 训练得到的条件引导仍依赖多步采样。论文再用 consistency loss 约束不同噪声时刻的 clean prediction，使同一轨迹上的输出接近，从而支持更少步骤的 DDIM-like 采样。

原论文 Figure 1，跨人物、家具、文字图形等场景的 DEFT-VTON 结果
Figure 1 · 原论文。论文用人物、家具与图形保持样例展示 “Virtual Try-All” 泛化。它们是定性结果；训练集构成、跨域样本量与独立测试协议未公开，因此不能据此证明广泛的开放域泛化。
02 · Problem formulation

把 VTO 条件写成 score 的可学习增量

给定目标人物图、服装参考图和二值掩码，模型在 latent space 中生成换装结果。预训练 score 网络提供无条件或基础生成方向，辅助网络 \(h_t(\mathbf{x},\mathbf{y})\) 逼近条件事件带来的 score 修正。

符号含义形状或分布
\(\mathbf{I}_p\)目标人物／目标输出图，也是训练监督\(\mathbb{R}^{3\times H\times W}\)
\(\mathbf{I}_g\)服装或产品参考图，可来自商品图或场景图\(\mathbb{R}^{3\times H\times W}\)
\(\mathbf{I}_M\)二值掩码；由 \(\mathbf{I}_a=\mathbf{I}_p\circ\mathbf{I}_M\) 可知值 1 对应保留像素\(\mathbb{R}^{H\times W}\)
\(\mathbf{I}_a\)garment-agnostic 图，\(\mathbf{I}_p\circ\mathbf{I}_M\)图像空间
\(\varepsilon,\mathbb{D}\)冻结的 VAE encoder 与 decoder预训练
\(\mathbf{Z}_a,\mathbf{Z}_g\)人物与服装 latent\(\mathbb{R}^{C_Z\times H_Z\times W_Z}\)
\(\mathbf{y}\)条件：拼接 latent 与 latent mask\(\mathbf{Z}_c\otimes\mathbf{I}_{mc}\)
\(\mathbf{s}^{\theta^{\ast}}\)冻结的基础网络；连续时间中是 score，离散实现中按 epsilon prediction 写项目页称约 2.4B 参数
\(\mathbf{h}\)唯一训练的条件网络；理论中是 score guidance，算法中与 epsilon prediction 直接相加项目页称 35.3M 参数
\(\mathbf{H}_t\)条件反向过程的噪声 latentVP-SDE / DDPM path
\[ \nabla_{\mathbf{x}}\log p_t(\mathbf{x}\mid\mathbf{Y}=\mathbf{y}) \approx \mathbf{s}^{\theta}(t,\mathbf{x})+ \nabla_{\mathbf{x}}\log p_t(\mathbf{Y}=\mathbf{y}\mid\mathbf{x}) \]
第一项是基础生成器学到的 score；第二项是条件 guidance。DEFT 用 \(\mathbf{h}_t(\mathbf{x},\mathbf{y})\) 直接近似第二项。
\[ \begin{aligned} \mathbf{I}_a&=\mathbf{I}_p\circ\mathbf{I}_M,\\ \mathbf{Z}_a&=\varepsilon(\mathbf{I}_a),\qquad \mathbf{Z}_g=\varepsilon(\mathbf{I}_g),\\ \mathbf{Z}_c&=\mathbf{Z}_a\oplus\mathbf{Z}_g,\qquad \mathbf{I}_{mc}=\mathbf{I}_m\oplus\mathbb{O},\\ \mathbf{X}_T&=\mathbf{Z}_c\otimes\mathbf{I}_{mc}\otimes\mathbf{W},\qquad \mathbf{W}\sim\mathcal{N}(0,\mathbf{I}). \end{aligned} \]
\(\oplus\) 表示沿宽度方向进行空间拼接，\(\otimes\) 表示沿通道方向拼接。最终 latent 沿空间维拆开，只解码人物侧。由于 \(\mathbf{I}_a=\mathbf{I}_p\circ\mathbf{I}_M\)，\(\mathbf{I}_M=1\) 的位置会保留；若把 mask 口头称为 “inpainting region”，需要额外取补集。论文没有用一句话固定这项 0/1 约定。

Doob h-transform 的连续时间表达

\[ \begin{aligned} d\mathbf{X}_t&=f_t(\mathbf{X}_t)dt+\sigma_t d\mathbf{W}_t,\\ b_t(\mathbf{X}_t)&=f_t(\mathbf{X}_t)-\sigma_t^2\nabla_{\mathbf{X}_t}\log p_t(\mathbf{X}_t),\\ d\mathbf{H}_t&=\left[b_t(\mathbf{H}_t)-\sigma_t^2\nabla_{\mathbf{H}_t}\log p_{0\mid t}(\mathbf{X}_0\in B\mid\mathbf{H}_t)\right]dt+\sigma_t d\mathbf{W}_t. \end{aligned} \]
\(\mathbf{X}_t\) 表示无条件过程，\(\mathbf{H}_t\) 表示以终点事件 \(\mathbf{X}_0\in B\) 为条件的过程。式中的负号与反向时间 SDE 的积分方向共同作用；将其简单读成“减去 guidance”会误解动力学。

Generalised h-transform 的 DSM 目标

\[ \begin{aligned} \mathbf{h}^{\ast}&=\arg\min_{\mathbf{h}\in\mathcal{H}}\mathcal{L}_{\mathrm{DSM}}^{\mathbf{y}}(\mathbf{h}),\\ \mathcal{L}_{\mathrm{DSM}}^{\mathbf{y}}(\mathbf{h}) &=\mathbb{E}\!\left[ \left\|\left(\mathbf{h}_t(\mathbf{H}_t)+\nabla_{\mathbf{H}_t}\log p_t(\mathbf{H}_t)\right) -\nabla_{\mathbf{H}_t}\log p_{t\mid0}(\mathbf{H}_t\mid\mathbf{X}_0)\right\|_2^2 \right]. \end{aligned} \]
训练把“冻结基础 score + 可训练条件增量”拟合到已知的前向扰动 score。条件来自真实配对的 \((\mathbf{X}_0,\mathbf{y})\)。原定理同时写 \(\mathbb{P}(\mathbf{X}_0\in B)=1\)，若按普通概率理解，条件事件已经必然发生，h-transform 会退化；Theorem 2 的“conditional SDE”也没有把 guidance 项写入 drift。页面据此把它视为论文记号缺陷，不把这两行当成完整证明。
\[ \begin{aligned} \min_{\mathbf{h}\in\mathcal{H}}\;&\mathbb{E}_{(\mathbf{x}_0,\mathbf{y}),\epsilon,t} \left[\left\|\mathbf{h}(\mathbf{H}_t,\mathbf{y})+\mathbf{s}^{\theta^{\ast}}_t(\mathbf{H}_t,t)-\epsilon\right\|_2^2\right],\\ \mathbf{H}_t&=\sqrt{\bar{\alpha}_t}\mathbf{X}_0+\sqrt{1-\bar{\alpha}_t}\epsilon,\qquad \epsilon\sim\mathcal{N}(0,\mathbf{I}). \end{aligned} \]
这是 DDPM epsilon-matching 形式。基础网络参数 \(\theta^{\ast}\) 固定，梯度只更新 \(\mathbf{h}\)。原 TeX 把 \(\bar{\alpha}_t\) 写成 \(\exp(-\int_0^T\beta(s)ds)\)，右侧与 \(t\) 无关；标准 VP-SDE 语义应为 \(\exp(-\int_0^t\beta(s)ds)\)。此外，连续时间的 \(\mathbf{h}=\nabla\log p_t(\mathbf{y}\mid\mathbf{x})\) 与 epsilon predictor 的 residual 存在由噪声参数化决定的比例和符号换算，论文直接沿用同一符号，没有给出该换算。
数学记号审查：以上 mask 方向、积分上限、conditioned SDE、必然事件与 score／epsilon 尺度均来自论文原式之间的冲突。由于没有公开代码，页面保留可验证的标准解释，同时不推定作者实际实现采用了哪一种未写出的修正。
03 · Architecture and pipeline

冻结主干，辅助网络接收相同条件

01 · Mask用 \(\mathbf{I}_M\) 得到 garment-agnostic 人物图。
02 · Encode冻结 VAE 分别编码人物与参考产品。
03 · Concatenate人物、服装沿空间拼接，mask 与零矩阵同步拼接。
04 · Frozen score2.4B score U-Net 预测基础 denoising 方向。
05 · Trainable h35.3M 辅助网络输出条件修正并与基础预测相加。
06 · Decode保留人物侧 latent，经冻结 decoder 还原图像。
原论文 Figure 2，DEFT-VTON 输入编码与冻结、可训练模块
Figure 2 · 原论文。蓝色模块冻结，红色 h-transform 网络训练。图中明确给出张量组合和丢弃人物另一侧 latent 的路径。

PEFT baseline

冻结 VAE，训练 diffusion U-Net 的一部分，论文称约占骨干 5.51%。正文摘要另写 5.52%，属于同一数量级的舍入差异。

DEFT-VTON

冻结 encoder 与 score 网络，训练辅助 h-transform。项目页给出 score 网络 2.4B、autoencoder 83.7M、h-transform 35.3M；论文未公开 h-transform 的层数、通道、block 类型或初始化。

原论文 Figure 3，对比 PEFT 与 DEFT-VTON 可训练参数
Figure 3 · 原论文。左侧 PEFT 修改基础网络 self-attention；右侧保持骨干完全冻结并附加小型网络。35.3M 相对 2.4B + 83.7M 约为 1.42%。
原论文 Figure 4，h-transform 为基础 score 网络提供条件 guidance
Figure 4 · 原论文。基础 score 与 h-transform 接收同一 noisy state 与条件，输出相加。公开材料只说明输入输出关系，没有披露辅助网络内部结构。
04 · Training and consistency

同一个 h-transform 的两阶段训练

训练先用 DSM 获得可靠 VTO 条件能力，再继续微调该网络，使相邻噪声时刻的 clean predictions 保持一致。基础 score 网络全程冻结。

阶段 A · DEFT

采样真实目标 latent、条件和噪声时刻，令 \(\mathbf{s}^{\theta^{\ast}}+\mathbf{h}\) 预测 noise／clean target，优化 DSM 或算法中采用的 pseudo-Huber 版本。

阶段 B · adaptive consistency

从阶段 A 的 h-transform 初始化，继续计算多个噪声时刻的预测。相邻预测用 pseudo-Huber 距离形成 \(\mathcal{L}_{\mathrm{CM}}\)，并由 DSM 大小自适应保持 VTO 能力。

论文先介绍传统 teacher-EMA 蒸馏

\[ \mathcal{L}(\theta,\theta^-)= \mathbb{E}_{\mathbf{x},n}\left[ d\!\left(\mathbf{s}_{\theta}(\mathbf{x}_{t_{n+1}},t_{n+1}), \mathbf{s}_{\theta^-}(\mathbf{x}_{t_n},t_n)\right) \right],\qquad \theta^-=\mu\theta^-+(1-\mu)\theta. \]
这是背景公式，用于说明常规 consistency distillation。DEFT-VTON 随后明确写道 “we do not perform distillations”。

DEFT-VTON 实际使用的 self-consistency

\[ \min_{\mathbf{h}\in\mathcal{H}} \mathbb{E}_{\mathbf{x},t}\!\left[ d\!\left( \mathbf{s}_{\theta}(\mathbf{x}_t,t)+\mathbf{h}(\mathbf{x}_t,t), \mathbf{s}_{\theta}(\mathbf{x}_{t'},t')+\mathbf{h}(\mathbf{x}_{t'},t') \right) \right]. \]
没有独立 teacher 网络，也没有把完整慢模型蒸馏到结构相同的 student。两端共享冻结的 \(\mathbf{s}_{\theta}\) 与同一可训练 \(\mathbf{h}\)，比较同一轨迹上两个噪声时刻。算法 1 进一步写成相邻 \(\hat{\mathbf{x}}_0^{(i,j)}\) 的 pseudo-Huber 距离。
关于“蒸馏”的准确判定：论文把 consistency training 的历史来源解释为蒸馏，同时明确声明 DEFT-VTON 不执行 distillation。这里更准确的分类是 consistency regularization / consistency fine-tuning。公开算法没有 EMA teacher 的更新步骤。

Adaptive objective

\[ \mathcal{L}_{\mathrm{adaptive}} =\lambda_{\mathrm{DSM1}}\max(\mathcal{L}_{\mathrm{DSM}},b_1) +\lambda_{\mathrm{DSM2}}\min(\mathcal{L}_{\mathrm{DSM}},b_2) +\lambda_{\mathrm{CM}}\mathcal{L}_{\mathrm{CM}}. \]
对 \(L=\mathcal{L}_{\mathrm{DSM}}\) 而言，避开阈值不可导点后，DSM 部分对 \(L\) 的斜率为 \(\lambda_{\mathrm{DSM1}}\mathbf{1}[L\gt b_1]+\lambda_{\mathrm{DSM2}}\mathbf{1}[L\lt b_2]\)。论文没有公开 \(b_1,b_2\) 的顺序，因此无法断言两阈值之间必然是零梯度，也无法从公式独立推出训练总会在低误差时把更多预算交给 consistency。三项 \(\lambda\) 与两个 \(b\) 均未公开；补充表的 “0.2/0.4/0.6/0.8/1.0 DSM” 简写和 \(\lambda_{\mathrm{DSM1}},\lambda_{\mathrm{DSM2}}\) 的对应关系也没有说明。式 (20)–(22) 将一个 epsilon residual 约束标成 \(\mathcal{L}_{\mathrm{CM}}\)，其形式实际对应 DSM，而且后续文字又称右端为 DEFT objective；这是另一处标签错误。
  1. 冻结预训练 encoder \(\varepsilon\) 和 score network \(\mathbf{s}\)。
  2. 将目标图、参考图和 mask 编码并拼接；算法文字把 \(\varepsilon(\mathbf{I}_p)\) 也并入 \(\mathbf{x}_0\)。
  3. 采样 \(N_t\) 个 \(t_j\sim\mathrm{Unif}(0,1)\) 与共享高斯噪声 \(\mathbf{W}\)。
  4. 构造 \(\mathbf{x}_{t_j}=\sqrt{\bar\alpha_{t_j}}\mathbf{x}_0+\sqrt{1-\bar\alpha_{t_j}}\mathbf{W}\)。
  5. 预测 \(\hat{\mathbf{x}}_0^{(i,j)}=\mathbf{s}(t_j,\mathbf{x}_{t_j}^{(i)})+\mathbf{h}(t_j,\mathbf{x}_{t_j}^{(i)})\)。
  6. DSM 对齐真实 \(\mathbf{x}_0\)，CM 对齐相邻时刻预测，返回 adaptive loss 更新 \(\mathbf{h}\)。
\[ \begin{aligned} \mathcal{L}_{\mathrm{DSM}}&=\frac{1}{N_t}\sum_{j=1}^{N_t} \mathrm{P\text{-}Huber}\!\left(\hat{\mathbf{x}}_0^{(i,j)}-\mathbf{x}_0^{(i)}\right),\\ \mathcal{L}_{\mathrm{CM}}&=\frac{1}{N_t-1}\sum_{j=1}^{N_t-1} \mathrm{P\text{-}Huber}\!\left(\hat{\mathbf{x}}_0^{(i,j)}-\hat{\mathbf{x}}_0^{(i,j+1)}\right). \end{aligned} \]
该算法是论文中最具体的训练定义。\(N_t\)、pseudo-Huber 参数、时间点排序方式与相邻时间间隔均未公开。它先把 condition、mask 与 target 拼成 \(\mathbf{x}_0\)，随后对整体统一加噪；前文却把 condition 固定后只迭代 noisy latent。两处对张量形状和加噪边界的叙述不一致，公开材料无法判定实际代码路径。
05 · Data and masks

公开测试集与未公开 VTA 训练集合

VITON-HD

测试 split 含 2,032 对正面上半身服装样本。paired 设置以人物原图作为 GT，计算 SSIM 与 LPIPS；unpaired 设置更换参考服装，计算生成图与源图分布之间的 FID 与 KID。测试直接复用数据集提供的预处理 mask。

Virtual Try-All

私有或未发布的 VTA 数据覆盖 jackets、pajamas、bags、hats、shoes、jewelry、toys 等，参考图包含 lay-flat、ghost-mannequin、on-figure 与 off-figure。论文没有给出样本数量、train/validation/test split、来源许可、类别分布或去重策略。

配对清洗

先用 classifier 判断 source image 是否展示 reference image 中的产品。论文没有给出分类器名称、阈值、错误率与人工审核比例。

Mask 生成

先用 object detector 在 source image 上生成产品 bounding box，再把 box 作为 prompt 交给 segmentation model 得到 inpainting mask。detector 与 segmenter 的具体模型、版本和 mask 后处理未公开。

可复现边界：VITON-HD 的测试协议可以重建，训练数据和 VTA 协议无法从论文独立复现。跨家具、玩具和配饰的能力可能来自 VTA 数据分布；公开材料无法把这种能力单独归因于 h-transform 表示。
06 · Experiments

完整 VITON-HD 主表与补充消融

主文 Table 1 与补充材料 Table 1 采用不同的 consistency 行。下面分别完整重建两张有效表，保留全部方法行和指标列。

主文 Table 1 · 9 行

横向滚动查看全部指标。↑ 越高越好；↓ 越低越好。
方法采样步数SSIM ↑LPIPS ↓FID ↓KID ↓
StableVTON—0.85430.090511.0543.914
LaDI-VTON—0.86030.073314.6488.754
IDM-VTON300.84990.06039.8421.123
OOTDiffusion200.81870.087612.4084.680
CatVTON500.87040.05659.0151.091
DEFT · DSM250.91180.05338.33510.5212
DEFT · DSM150.90980.05218.63390.7916
DEFT · DSM + CM250.91050.05648.63100.7243
DEFT · DSM + CM150.91300.05428.85671.016

Supplementary Table 1 · 25 行

方法采样步数SSIM ↑LPIPS ↓FID ↓KID ↓
StableVTON—0.85430.090511.0543.914
LaDI-VTON—0.86030.073314.6488.754
IDM-VTON300.84990.06039.8421.123
OOTDiffusion200.81870.087612.4084.680
CatVTON500.87040.05659.0151.091
DEFT · DSM250.91180.05338.33510.5212
DEFT · DSM150.90980.05218.63390.7916
DEFT · 0.2 DSM + CM120.90630.078225.794815.52
DEFT · 0.2 DSM + CM150.90640.079827.884318.92
DEFT · 0.2 DSM + CM250.90340.085333.222324.53
DEFT · 0.4 DSM + CM120.91350.05539.16711.2612
DEFT · 0.4 DSM + CM150.91360.05528.79220.9970
DEFT · 0.4 DSM + CM250.90980.05818.47040.6649
DEFT · 0.6 DSM + CM120.91220.05609.01361.1998
DEFT · 0.6 DSM + CM150.91320.05538.66110.9104
DEFT · 0.6 DSM + CM250.91000.05798.59880.6713
DEFT · 0.8 DSM + CM120.91120.05719.07651.2336
DEFT · 0.8 DSM + CM150.91260.05618.73940.9378
DEFT · 0.8 DSM + CM250.91010.05928.41600.5474
DEFT · 1.0 DSM + CM100.89350.086212.73243.5322
DEFT · 1.0 DSM + CM110.91110.05739.20231.3684
DEFT · 1.0 DSM + CM120.91140.05718.98591.1134
DEFT · 1.0 DSM + CM150.91250.05618.71130.8937
DEFT · 1.0 DSM + CM200.90810.06178.83010.8030
DEFT · 1.0 DSM + CM250.90910.05998.50580.5952

纯 DSM 的最强分布指标

25 步 DSM 得到 FID 8.3351、KID 0.5212，均为完整表最佳；15 步 DSM 得到最佳 LPIPS 0.0521。减少 10 步后这些指标仍高于全部所列 baseline，说明基础 DEFT 已具备较强低步数能力。

Consistency 的准确取舍

主文同为 25 步时，加入 CM 后 SSIM 从 0.9118 降至 0.9105、LPIPS 从 0.0533 升至 0.0564、FID 从 8.3351 升至 8.6310、KID 从 0.5212 升至 0.7243，四项均变差。同为 15 步时，SSIM 从 0.9098 升至 0.9130，LPIPS、FID、KID 分别从 0.0521 / 8.6339 / 0.7916 变为 0.0542 / 8.8567 / 1.016，后三项变差。CM 的主要证据是 15 步 SSIM 与困难样例定性表现。

系数与步数交互

0.4 DSM + CM、15 步取得完整补充表最佳 SSIM 0.9136，但 FID/KID 仍弱于纯 DSM 25 步。0.2 系数造成 FID/KID 大幅恶化，支持作者关于 DSM 权重过低会丢失 VTO 能力的判断。

指标与单位

补充材料表头只写 KID，没有 \(\times 10^3\) 或其他缩放单位，页面保持原数值与原单位标注。论文没有报告置信区间或重复运行方差。

步数并非单调更优

补充材料指出 SSIM/LPIPS 约在 15 步附近达到较好值，FID/KID 随步数增加整体改善；作者同时观察到更多步数会增加部分 hallucination。各指标覆盖的质量侧面不同。

基线公平性

主文给出 IDM-VTON 30 步、OOTDiffusion 20 步、CatVTON 50 步；StableVTON 与 LaDI-VTON 步数、分辨率、模型大小和硬件成本没有统一列出。

原论文 Figure 6，DEFT-VTON 与 CatVTON、OOTDiffusion、IDM-VTON 定性比较
Figure 6 · 原论文。DEFT-VTON 使用 15 步，CatVTON 50 步，OOTDiffusion 20 步，IDM-VTON 30 步。该图支持低 NFE 下的定性竞争力，没有提供相同硬件下的端到端延迟。
原论文 Figure 8，不同 DSM 系数对应的 DSM 与 consistency loss 训练曲线
Figure 8 · 原论文。作者以相同触发阈值和 CM 系数，仅改变 DSM 系数，认为 0.6 在两类损失间取得较好平衡。图没有公开精确阈值或曲线原始数据。
补充材料 Figure 1，不同训练阶段与采样步数的复杂文字图形保持样例
Supplementary Figure 1 · 原论文。每行依次为原图、商品参考、masked source、consistency 前 25 步、consistency 前 15 步、consistency 后 15 步。它展示文字、图形、低清参考与稀有任务上的变化。
07 · Reproducibility

可以核实的配置，以及公开材料留下的空白

项目核实值证据与说明
基础模型Latent Diffusion；预训练 autoencoder + score diffusion U-Net正式论文 4.2；结论的 “diffusion transformer” 与此不一致
冻结组件encoder / autoencoder 与 score network 全部冻结Algorithm 1、Figure 2–4
训练组件35.3M h-transform官方项目页；约为冻结 2.4B score + 83.7M VAE 的 1.42%
PEFT baseline约 5.51% 可训练Figure 3；摘要写 5.52%
输入尺寸1024 × 1024arXiv TeX 源码中被注释的实现段落；未出现在渲染论文
优化器AdamW同上，需视为未进入正式稿的作者源码信息
学习率\(10^{-5}\)同上
批量大小8同上；未说明全局批量或每张 GPU
训练硬件8 × NVIDIA H100正式论文 4.2
采样器DDIM adapted to consistency models正式论文；参考 Consistency Models Algorithm 1
常用推理步数15；消融覆盖 10、11、12、15、20、25主文与补充材料
loss metricpseudo-Huber3.3 与 Algorithm 1
代码与权重未发布官方项目仓库只有展示站点与媒体文件

未公开的训练信息

h-transform 内部结构、初始化、训练 epoch／iteration 总数、warmup、scheduler、weight decay、precision、gradient accumulation、随机种子、训练时长、显存、\(N_t\)、pseudo-Huber 参数、\(b_1,b_2\) 和最终 \(\lambda\) 均缺失。

未公开的推理信息

DDIM 时间表、eta、consistency sampler 的精确修改、CFG 或其他 guidance scale、输入预处理、mask 膨胀、随机种子、每张图延迟、吞吐量、显存与后处理均缺失。

论文源码提供的额外线索

arXiv v1 TeX 中保留一段被注释的 implementation text，写有 Diffusers、2.4B / 83.7M / 35.3M、1024、AdamW、学习率 \(10^{-5}\)、batch 8。项目页独立确认三个参数规模；其余值没有进入正式论文。

表格与附录一致性

主文表注声称 appendix 提供 DressCode 结果；TeX 源码中 DressCode 表被整体注释，正式补充材料只渲染 VITON-HD。因此页面不把这些隐藏行当作正式实验结论。

08 · Evidence boundaries

论文验证、作者解释与可延伸方向

Paper verified在 VITON-HD 2,032 对测试 split 上，DEFT 系列在表中 SSIM、LPIPS、FID、KID 均优于所列 baseline 的最佳数值；25 步纯 DSM 的 FID/KID 最强，15 步纯 DSM 的 LPIPS 最强，0.4 DSM + CM 的 15 步 SSIM 最强。
Paper verified训练只更新 h-transform，公开的参数规模为 35.3M；预训练 score 与 autoencoder 冻结。项目页给出的比例约为 1.42%。
Author claimadaptive consistency 在保持性能的情况下带来最高 40% 推理加速。实验直接比较的是 25 步与 15 步的 NFE 减少，论文没有提供 wall-clock latency，因此“加速”应理解为函数评估数量。
Author claim更多采样步数可能增加 hallucination。补充材料提供作者的定性观察，没有独立 hallucination metric、标注协议或统计显著性。
Our interpretation跨家具与非服装场景的能力同时受 VTA 数据覆盖、基础模型先验和 h-transform 训练方式影响。论文没有做数据去除或跨域组件消融，无法单独证明 h-transform 自身产生了这种泛化。
Research extension值得继续研究的方向包括：公开结构化 h-transform adapter；用 execution-aware mask uncertainty 调节 guidance；在推理时根据轨迹一致性动态选择 NFE；把 identity、garment text 与 geometry 分别作为约束；用无参考感知指标和人类偏好模型补充 FID/KID。
09 · Reviewer commentary

贡献明确，复现与因果证据仍然薄弱

Strengths

  • 把 Doob h-transform 从一般 diffusion adaptation 明确落到 VTO 条件生成。
  • 完全冻结大型骨干，训练参数比例从约 5.51% 降至 1.42%。
  • 区分 DSM 条件能力与 trajectory consistency，并用完整系数／步数消融展示失败区间。
  • 补充材料保留全部 25 行 VITON-HD 数值，便于检查指标取舍。

Weaknesses

  • 未公开代码、权重、h-transform 结构和关键超参数，核心方法无法独立复现。
  • VTA 数据规模、来源与 split 缺失，跨域结论缺少受控实验。
  • 没有统一 wall-clock、显存、训练小时数与能耗对比，效率证据主要来自参数比例和 NFE。
  • 指标没有方差、置信区间或显著性检验；unpaired FID/KID 对单个服装保真度的解释有限。
  • adaptive loss 的 threshold 机制缺少具体值和对照，论文宣称的“data-adaptive”行为难以复核。

Potential improvements

  • 公开 adapter 结构、完整训练配置和 sampler 实现，并提供固定 seed 的复现实验。
  • 增加 teacher-free consistency、EMA teacher、纯 DSM、固定加权与 adaptive threshold 的等预算对照。
  • 加入服装 logo OCR、纹理对应、身份保持、mask 边界与局部编辑泄漏指标。
  • 对 VTA 按类别、参考形态与稀有度分层报告结果，配合数据量消融。

可形成后续论文的问题

把 consistency residual 作为推理时的可信度信号，针对每个样本动态选择时间步；将 h-transform 拆成 garment identity、pose/geometry、background preservation 三个可组合 guidance；用小型 reward model 对多候选进行低成本 reranking，并检测文字与图形破坏。

10 · Primary sources

一手资料

  1. CVF Open Access 正式出版页：作者、venue、正式 PDF、补充材料与 BibTeX。
  2. CVPR 2025 eLVM Workshop 正文 PDF：10 页。
  3. 正式 Supplementary Material：3 页，含完整系数与采样步数表。
  4. arXiv:2509.13506v1：13 页合订版本与 TeX source。
  5. 官方项目页：演示、作者身份、参数规模；页面中的 arXiv 按钮误链到另一篇论文，本文以 CVF 与 arXiv 正式记录为准。
  6. 官方项目页仓库：核查 commit f671a00，只有展示网页和媒体资源。
  7. Denker et al., DEFT: Efficient Fine-tuning of Diffusion Models by Learning the Generalised h-transform：理论来源。
  8. Song et al., Consistency Models；Song & Dhariwal, Improved Techniques for Training Consistency Models：consistency 训练与采样背景。
资料核查日期：2026-09-28。正式论文、补充材料、本地 arXiv v1、arXiv TeX source、官方项目页与官方项目仓库均已核对。