Random-Mask
Video Diffusion

现有条件方式的负担

常见条件扩散把条件帧经额外网络处理，或在通道维度拼接。无条件模型配合 RePaint 式反复去噪与再加噪也能强制协调，但视频维度使多次重采样代价很高，条件帧稀少时尤为明显。

论文的核心直觉

把干净条件帧直接放回视频原位置，网络可以从“干净／有噪”的差异识别条件。随机采样条件位置后，训练分布覆盖不同缺失模式；推理时只需固定任意条件集合 \(\mathcal C\)。

视频与索引集合

视频 \(\mathbf x_0\in\mathbb R^{L\times W\times H\times C}\)。条件帧索引为 \(\mathcal C\)，未知帧索引为 \(\mathcal U\)，两者互斥且并集为 \(\{0,\ldots,L-1\}\)。条件帧数 \(k=|\mathcal C|\)。

模型输入与输出

输入 \(\mathbf x_t\) 在 \(\mathcal C\) 位置保留原始帧 \(\mathbf x_0^{\mathcal C}\)，在 \(\mathcal U\) 位置放入加噪帧 \(\mathbf x_t^{\mathcal U}\)。网络输出与整段视频同形的噪声或 score 预测，损失只读取 \(\mathcal U\) 位置。

训练条件

以概率 \(p_U\) 设置 \(\mathcal C=\varnothing\)，形成无条件样本；其他时候先从 \(\{1,\ldots,K\}\) 均匀采样 \(k\)，再均匀抽取 \(k\) 个帧索引。

推理条件

用户指定任意 \(\mathcal C\)：前缀条件得到 prediction，首尾条件得到 infilling，均匀稀疏条件得到 completion／时间上采样，空集得到 unconditional generation。

空间与时间

所有卷积使用 \(3\times3\times3\) kernel。encoder 经过三次下采样把空间分辨率 \(64\to32\to16\to8\)，论文明确不压缩时间维度。官方代码在 scale_time_dim=0 时使用 stride \((1,2,2)\)。

通道与 attention

首层 128 channels，64 分辨率的 channel multiplier 为 \((1,2,3,4)\)，因此各级为 128、256、384、512。16 与 8 分辨率插入 4-head self-attention。

ResNet blocks

BAIR 每个分辨率 2 个 block，约 235M 参数；Kinetics-600 与 UCF-101 每级 3 个 block，约 308M 参数。模型保留 diffusion timestep embedding，论文所说“不编码时间维度”指视频帧轴不做 positional encoding／压缩。

输出与方差

论文采用 score-based “simple” objective。固定提交的默认 learn_sigma=False，输出 3 channels 并使用 FIXED_LARGE variance；README 命令没有覆盖该选项。

统一超参数

learning rate \(2\times10^{-5}\)，线性 noise schedule，\(T=1000\)，uniform timestep sampler，EMA rate \(0.9999\)。论文没有报告 optimizer 名称、weight decay、warmup 或 scheduler；官方代码默认 AdamW、weight decay 0、无 LR annealing。

随机掩码分布

\(b\sim\mathrm{Bernoulli}(p_U)\)。若 \(b=1\)，\(\mathcal C=\varnothing\)；其余样本均匀选择 \(k\in\{1,\ldots,K\}\)，再不放回抽取帧索引。BAIR 扫描 \(p_U\in\{0,0.25,0.5,0.75\}\) 与 \(K\in\{2,4,8\}\)。

条件采样

未知位置从 Gaussian noise 开始。每个 DDPM reverse step 前，把 \(\mathcal C\) 位置覆盖为 \(\mathbf x_0^{\mathcal C}\)；默认 resample_steps=1，因此主实验没有额外 forward-backward harmonization loop。

EMA 与 respacing

从 EMA checkpoint 采样。代码通过 timestep_respacing 从 1000 个训练步选择较少的采样时刻；附录显示少于 500 步会显著损害 FVD。

\(p_U\) 消融

BAIR 上 \(p_U\) 从 0 到 0.75 的 prediction FVD 差异较小；Kinetics 上 0.25／0.5 最佳，0.75 明显下降。更高无条件比例帮助无条件生成，也减少模型看到带条件样本的频率。

\(K\) 消融

BAIR prediction 的最佳行是 \(K=8\)，infilling 的最佳行是 \(K=2\)。单个 \(K\) 没有在所有任务占优，支持作者关于 task-dependent mask schedule 的后续方向。

随机位置与 fixed mask

fixed prediction model 的 BAIR prediction FVD 89.01，略差于随机 mask 多数设置；infilling FVD 119.76，显著差于随机 mask。证据表明随机位置扩大任务覆盖范围。

缺少的消融

论文没有独立比较 2D 与 3D convolution、是否使用 attention、cosine 与 linear schedule 的完整数值，也没有把“只对未知帧计算 loss”与“全帧 loss”量化比较。

快速物体运动

背景能保持，快速运动主体会拉伸、融化或变形。3D convolution 与全序列去噪仍未显式建模 optical flow 或刚体／人体结构。

快速相机运动

首尾构图差异过大时，模型可能让主体在开头消失、末尾重新出现，形成外观插值，无法恢复合理 camera trajectory。

UCF 过拟合

每类动作约 25 个不同 setting，生成视频常与训练样本很相近。论文没有报告 nearest-neighbor distance 或 memorization audit。

分辨率限制

所有实验均为 64 × 64。作者明确把 super-resolution module 列为未来方向，本文没有实现空间超分模块。

数据

• BAIR 原始 64 × 64 数据与 256 test videos
• Kinetics public downloader 的具体 snapshot 与失效视频清单
• UCF-101 全量 13,320 视频
• 随机连续子序列选择和 center crop

模型

• 128 base channels，multiplier 1／2／3／4
• BAIR 2 blocks，其余 3 blocks
• attention resolutions 16／8，4 heads
• 3D convolution，时间 stride 固定为 1

优化

• linear beta schedule，1000 training steps
• LR \(2\times10^{-5}\)，EMA 0.9999
• global batch 与 per-rank micro-batch 分开记录
• 明确 learn_sigma=False 与 AdamW 默认值

评估

• 至少 500 DDPM sampling steps
• BAIR 100 次 FVD 重复
• Kinetics 50,000 test predictions
• UCF 10,000 samples × 3 次 IS

Strengths

• 条件帧直接占据原时间位置，架构改动很少。
• 随机 mask 给 prediction、infilling、completion 提供统一训练目标。
• BAIR 与 Kinetics 的主表包含强 baseline 和参数量。
• 附录公开算力、数据协议、采样速度与失败案例。
• 官方代码直接实现了论文最关键的 noise mask 与 loss mask。

Weaknesses

• 全部实验停留在 64 × 64，细节质量的上限很低。
• 500–750 步 DDPM 采样成本高，10,000 视频需要 7–9 小时。
• 快速运动、快速镜头与长时自回归误差仍明显。
• 多数消融只有单次结果，误差条与统计显著性不足。
• 掩码训练的贡献没有和 2D／3D、schedule、attention 分别量化。
• UCF 有 memorization 迹象，缺少正式最近邻审计。