用一层“翻译器”，把现成 ControlNet 接到任意扩散骨干

重训 ControlNet 太贵，逐帧复用又缺少时间建模

SDv1.5 社区已经积累大量深度、边缘、法线、姿态等 ControlNet。新骨干的通道、空间层级、噪声尺度与时间维度各不相同，现成控制特征无法直接注入。论文将这个问题重写成“冻结两端、学习特征映射”。

Figure 1（原论文）：统一框架的能力范围。蓝色小型图像 ControlNet 与绿色大型图像／视频骨干均冻结，橙色 CTRL-Adapter 参与训练。

输入、输出与优化对象

Figure 3（原论文）：左侧给出 ControlNet 到目标骨干各层的映射；右侧给出 Spatial Conv、Temporal Conv、Spatial Attention、Temporal Attention 四模块。图像骨干跳过两种 temporal 模块。

完整数据流

四模块如何工作

跳过 latent：处理大噪声与稀疏控制

原始 ControlNet 通常读取 \(\mathbf{z}_{t}\) 与控制图。SVD 的噪声尺度满足 \(\sigma\sim\mathrm{LogNormal}(0.7,1.6)\)，论文给出 \(\mathbb{E}[\sigma]=7.24\)。大尺度 noisy latent 可能淹没控制图；稀疏控制训练时，ControlNet 也可能依赖密集 latent，忽略少数有控制的帧。为此，SVD 与稀疏控制设置跳过 ControlNet 的输入卷积，从而不输入 \(\mathbf{z}_{t}\)。

Inverse timestep sampling

连续时间骨干与离散 1000 步 ControlNet 共享进度变量 \(u\)。这只匹配两个日程的分位进度，绝对噪声尺度仍然不同。正文先以 \(\sigma\sim\mathrm{LogNormal}(0.7,1.6)\) 描述 SVD 训练分布；附录 Algorithm 1 和公开代码实际采用有界 Karras 日程。

多条件 MoE

有 \(N\) 个 ControlNet 专家时，路由器产生归一化权重。全局路由器对整张特征图使用同一权重；patch-level MLP 独立处理每个专家的局部特征；patch-level Q-Former 同时读取同一位置的全部专家特征。

Figure 5（原论文）：多条件特征组合。patch-level 路由允许深度、边缘、法线、分割、线稿与姿态在不同空间位置贡献不同权重。

数据、训练与推理

发布脚本中的推理配置

稀疏帧控制

论文算法在每个训练步采样 \(k\in\{1,\ldots,N\}\)，再从 \(N\) 个输出帧随机选择 \(k\) 个 keyframe，仅为这些帧提供深度或 scribble。公开实现 train.py:1279–1288 将范围固定为 1–4 帧；代码注释说明可把上限改成 args.n_sample_frames。因此论文覆盖任意稀疏度的表述大于默认发布配置。I2VGen-XL 示例在 16 帧中只给第 1、6、11、16 帧条件。

Figure 8（原论文）：四个 keyframe 的 scribble／depth 控制，其余帧由时间模块插值。

关键结果与公平性边界

指标方向：FID、MSE、Optical Flow Error 越低越好；SSIM 越高越好。主表把不同骨干、不同输出帧数与不同训练预算并列，能够证明框架兼容性与结果强度，无法单独分离“适配器设计”和“骨干能力”的贡献。

Table 1 · 可控图像／视频方法的能力比较

这张表验证的是功能覆盖范围。它没有提供视觉质量、控制精度、参数量或训练成本，因此不能单独支持性能优势。CTRL-Adapter 的预算卖点要结合 Figure 2：图像与视频设置在 A100 80GB 上训练不到 10 GPU 小时便超过所列强基线；正文同时说明 SDXL ControlNet 的训练预算约为 700 GPU 小时。

Table 2 · DAVIS 2017 单条件视频控制

Paper VerifiedSVD + CTRL-Adapter 在四列均为全表最佳。I2VGen-XL 的 FID 很强，Latte 的 Canny flow error 为 2.73。Hotshot-XL 结果提示适配器收益受骨干上限明显限制。

Table 3 · COCO val2017 单条件图像控制

Our InterpretationSDXL + CTRL-Adapter 的结构一致性指标强，FID 落后原生 SDXL ControlNet；这显示轻量适配器能够保留控制，却未在所有视觉分布指标上追平专门训练的目标骨干 ControlNet。PixArt-α 在 HED FID 上改善明显，HED SSIM 略低于 PixArt-δ ControlNet。

Table 4 · 多条件视频控制

Q-Former 在四组 FID 均最佳，MLP 在四组 flow error 均最佳。论文的“patch-level 一致优于 global”得到支持；单一 patch-level 方案没有同时支配视觉质量与控制误差。

Figure 9（原论文）：只用 depth 训练的 adapter 直接挂接 normal 与 softedge ControlNet。论文以定性样例展示 zero-shot 条件迁移，主文没有为该图提供独立量化表。

Figure 10（原论文）：视频编辑、video style transfer 与 text-guided motion control。三项属于定性探索，缺少任务专用量化指标与用户研究。

每项设计选择究竟证明了什么

Figure 13 左（原论文）：SDXL 图像控制的 SC／SA 组合。横轴 MSE、纵轴 FID 均越低越好，气泡直径表示训练显存。原图只给坐标轴刻度，没有逐点数值标签，本页保留原图并不推测小数。

Figure 13 右（原论文）：视频模块组合。SC+TC+SA+TA 在 FID 与 flow error 间取得较好平衡；带 TC 和 TA 的方案控制误差最低。气泡同时显示更复杂模块带来的显存预算。

Figure 14 左（原论文）：Mid+Out ABCD、Out ABCD、Out ABC、Out AB、Out A 在 10K／20K／30K 步的 FID。原图没有逐柱精确数值标签；前三种范围接近，继续移除 C、B 会产生明显变化。

Figure 14 右（原论文）：移除 mid 与 D 的影响较小；移除 C 后 flow error 显著升高。保留更多注入点增加参数和显存，Mid+A/B/C 是附录给出的效率建议。

Figure 15（原论文）：同一输出尺度使用 3、2、1 个 adapter 的结构差异。减少数量几乎线性降低可训练参数和训练显存。

Figure 16（原论文）：1／2／3 个 adapter 在不同训练步数下的 flow error。三适配器在 30K 步最低；原图没有逐柱精确数值标签，本页保留原始曲线，不把坐标读取值写成论文报告值。

Figure 17（原论文）：Latte 的三种 DiT 注入布局。交错布局覆盖完整网络深度，前半与后半方案保持相同的 14 个 adapter 数量，因此 Table 5 主要比较插入位置。

Table 5 · Latte 的 DiT block 插入策略

三个方案保持 adapter 数量相同，交错布局同时改善 FID 与 flow error，支持让控制残差贯穿 DiT 深度。这个实验控制了模块数量，不能推导增加 adapter 数量的独立收益。

Table 6 · PixArt-α 的 ControlNet 来源层

原论文表头把 SSIM 标成 ↓，与正文指标定义和数值解释冲突；SSIM 通常越高越好。这里原样保留数值，并把方向冲突标记为论文排版问题。

Table 7 · 跳过 latent

对 SVD，跳过 latent 改善 FID、轻微损害 flow error；对稀疏帧，两项均改善。这个消融支持“稀疏条件避免 shortcut”的解释，也显示大噪声场景存在质量与控制精度交换。

Table 8 · 多条件视频的全局权重与 patch-level 权重

三种带条件 embedding 的全局 3 层 MLP 路由器没有稳定超过无条件全局权重；额外条件输入增加计算，却缺少一致收益。patch-level MLP 在四组 flow error 最优，Q-Former 在四组 FID 最优，显示局部路由把预算转化为更强控制，但两种局部方案分别偏向结构精度与视觉分布质量。

Table 9 · 统一 adapter 与单条件 adapter

统一模型略有退化，说明跨条件共享可行，同时存在负迁移。统一方案减少每个条件分别保存 adapter 的部署成本；论文没有报告八个独立模型与统一模型的总参数、总训练 GPU 小时和总存储量，成本优势无法定量核算。

公开代码能复现的范围

证据分层与研究判断

四种陈述等级

可形成后续论文的方向

一手资料与核查范围

1. arXiv 2404.09967v2：40 页合订本，正文 9 页，附录与参考文献延续至第 40 页；本页全部论文数字均来自该 PDF／同版本 LaTeX 源。
2. OpenReview / ICLR 2025：Published as a conference paper，Oral。
3. 官方项目页：作者、共同第一作者标记、能力展示、paper/code/checkpoint 链接。
4. 官方 GitHub：实现核查基于 commit 4f495bd2196e6ae3e44bd4a007f7391d99dbaf1e。
5. ICLR 2025 Proceedings：正式会议收录身份。