初始化
采样 \(\mathbf{x}_T\sim\mathcal{N}(\mathbf{0},\mathbf{I})\)。
01 · Research gap
从“扩散模型可行”推进到“高质量生成可复现”
Sohl-Dickstein 等人在 2015 年给出了 diffusion probabilistic model，但当时图像样本仍落后于 GAN、autoregressive model 与 VAE。本文寻找一组相互配合的设计：固定小步长高斯前向链、噪声预测参数化、简化的训练加权，以及适合图像的 U-Net。
已有困难
原始变分上界虽然可计算，各时间步权重跨度很大；直接预测逆向均值也缺少清晰的归纳偏置。采样器还需要在训练完成后真正沿 1,000 步逆链运行，因此任何训练与采样的不一致都会累积。
关键假设
如果让网络预测产生当前噪声图像的标准高斯噪声 \(\boldsymbol{\epsilon}\)，每个时间步就成为统一尺度的去噪问题；去掉变分项的解析权重，会把优化重心移向更难的大噪声任务，从而改善视觉样本。
贡献边界
论文没有提出扩散概率模型本身。核心新增内容是明确的 \(\boldsymbol{\epsilon}\)-prediction 参数化、与 denoising score matching 的等价关系、显著的图像生成结果，以及渐进有损压缩解释。
结论阅读提示
最佳 likelihood 与最佳 FID 来自不同目标。 真正的变分上界 \(L\) 给出更短码长；\(L_{\mathrm{simple}}\) 给出更好的样本。论文的主要视觉突破来自这个取舍，不能把 3.17 FID 与 3.70 bits/dim 当作同一模型同时取得的成绩。02 · Problem
数据、隐变量、前向链与逆向链
\(\mathbf{x}_0\)离散 RGB 图像线性缩放到 \([-1,1]\)。
\(\mathbf{x}_{1:T}\)与图像同维的连续隐变量序列。
\(q\)固定的 forward diffusion；训练时提供可采样后验。
\(p_{\theta}\)学习的 reverse process；从白噪声生成图像。
\(\beta_t\)第 \(t\) 步加入的方差，线性增大。
\(\alpha_t\)\(1-\beta_t\)，保留上一状态的信号比例。
\(\bar{\alpha}_t\)\(\prod_{s=1}^{t}\alpha_s\)，从原图累计保留的信号比例。
\(\boldsymbol{\epsilon}_{\theta}\)共享参数的 U-Net，对每像素预测标准高斯噪声。
\[
p_{\theta}(\mathbf{x}_{0:T})=p(\mathbf{x}_T)\prod_{t=1}^{T}p_{\theta}(\mathbf{x}_{t-1}\mid\mathbf{x}_t),\qquad p(\mathbf{x}_T)=\mathcal{N}(\mathbf{0},\mathbf{I})
\]
生成方向：先采样白噪声 \(\mathbf{x}_T\)，再用学习到的高斯条件分布逐步得到 \(\mathbf{x}_0\)。
\[
q(\mathbf{x}_{1:T}\mid\mathbf{x}_0)=\prod_{t=1}^{T}q(\mathbf{x}_t\mid\mathbf{x}_{t-1}),\qquad q(\mathbf{x}_t\mid\mathbf{x}_{t-1})=\mathcal{N}(\sqrt{1-\beta_t}\,\mathbf{x}_{t-1},\beta_t\mathbf{I})
\]
训练辅助方向：不学习参数，只按预定 schedule 逐步降低信号、加入高斯噪声。
03 · Mathematics
一次闭式加噪，逐步闭式反演目标
3.1 任意时间步的前向边际
把连续高斯转移展开后，独立高斯噪声的线性组合仍为高斯。定义 \(\alpha_t=1-\beta_t\) 与 \(\bar{\alpha}_t=\prod_{s=1}^{t}\alpha_s\)，可直接从干净图像采样任意时间步：
\[
q(\mathbf{x}_t\mid\mathbf{x}_0)=\mathcal{N}\!\left(\sqrt{\bar{\alpha}_t}\,\mathbf{x}_0,(1-\bar{\alpha}_t)\mathbf{I}\right),\qquad
\mathbf{x}_t=\sqrt{\bar{\alpha}_t}\,\mathbf{x}_0+\sqrt{1-\bar{\alpha}_t}\,\boldsymbol{\epsilon}
\]
因此训练时无需真的运行前向链 1,000 次。每个 minibatch 只需均匀采样一个 \(t\) 和一个噪声张量 \(\boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})\)。
3.2 已知原图时的精确后验
\[
q(\mathbf{x}_{t-1}\mid\mathbf{x}_t,\mathbf{x}_0)=\mathcal{N}(\tilde{\boldsymbol{\mu}}_t,\tilde{\beta}_t\mathbf{I})
\]
\[
\tilde{\boldsymbol{\mu}}_t=\frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t}\mathbf{x}_0+\frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t}\mathbf{x}_t,\qquad
\tilde{\beta}_t=\frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\beta_t
\]
后验均值是 \(\mathbf{x}_0\) 与 \(\mathbf{x}_t\) 的解析加权组合；方差只由 schedule 决定。这让每个 KL 项成为两个高斯之间的闭式距离。
3.3 ELBO 的三类项
\[
L=\mathbb{E}_q\!\left[
\underbrace{D_{\mathrm{KL}}(q(\mathbf{x}_T\mid\mathbf{x}_0)\mathbin\Vert p(\mathbf{x}_T))}_{L_T}
+\sum_{t\gt1}\underbrace{D_{\mathrm{KL}}(q(\mathbf{x}_{t-1}\mid\mathbf{x}_t,\mathbf{x}_0)\mathbin\Vert p_{\theta}(\mathbf{x}_{t-1}\mid\mathbf{x}_t))}_{L_{t-1}}
-\underbrace{\log p_{\theta}(\mathbf{x}_0\mid\mathbf{x}_1)}_{-L_0}
\right]
\]
Appendix A 的关键变换使用 Bayes 恒等式 \(q(\mathbf{x}_t\mid\mathbf{x}_{t-1})=q(\mathbf{x}_{t-1}\mid\mathbf{x}_t,\mathbf{x}_0)q(\mathbf{x}_t\mid\mathbf{x}_0)/q(\mathbf{x}_{t-1}\mid\mathbf{x}_0)\)。代入原始轨迹比值后，相邻时间步的边际项望远镜消去，留下末态 prior KL、中间后验 KL 与最后的 decoder NLL。这样既降低 Monte Carlo 方差，也让每个中间项能用高斯 KL 闭式计算。附录另把边际条件 \(q(\mathbf{x}_{t-1}\mid\mathbf{x}_t)\) 写入同一目标，得到“prior mismatch + 各步条件 KL + 数据熵”的压缩解释；这一个形式无法直接估计，只用于分析。
\(L_T\)
前向末态与标准正态先验的 KL。由于 \(\beta_t\) 固定，它对 \(\theta\) 是常数；实验中约为 \(10^{-5}\) bits/dim。
\(L_{1:T-1}\)
训练学习的逆向高斯转移，使其逼近已知 \(\mathbf{x}_0\) 时的精确前向后验。
\(L_0\)
最后一步的离散图像 decoder，对每个缩放后的 8-bit 像素值积分一个高斯 bin。
3.4 离散图像 decoder 与 \(L_0\)
原始像素是 \(\{0,\ldots,255\}\) 的整数，线性缩放到 \([-1,1]\) 后，相邻量化值间距为 \(2/255\)。decoder 把每个离散值对应到以该值为中心、左右各 \(1/255\) 的连续区间，并对所有 \(D\) 个颜色坐标独立相乘：
\[
p_{\theta}(\mathbf{x}_0\mid\mathbf{x}_1)
=
\prod_{i=1}^{D}
\int_{\delta_{-}(x_0^i)}^{\delta_{+}(x_0^i)}
\mathcal{N}\!\left(x;\mu_{\theta}^{i}(\mathbf{x}_1,1),\sigma_1^2\right)\,dx
\]
\[
\delta_{+}(x)=
\begin{cases}
+\infty,&x=1,\\
x+\frac{1}{255},&x\lt1,
\end{cases}
\qquad
\delta_{-}(x)=
\begin{cases}
-\infty,&x=-1,\\
x-\frac{1}{255},&x\gt-1.
\end{cases}
\]
边界像素使用无穷端点，确保最暗与最亮 bin 收下高斯尾部。精确变分训练中的 \(L_0=-\log p_{\theta}(\mathbf{x}_0\mid\mathbf{x}_1)\) 优化上面的离散似然。\(L_{\mathrm{simple}}\) 把 \(t=1\) 与其余时间步统一成连续噪声 MSE；论文将它解释为以“高斯密度乘 bin 宽度 \(2/255\)”近似积分，并忽略 \(\sigma_1^2\) 的解析权重与边界效应。两种目标在 \(t=1\) 上并不完全相同。
3.5 从均值预测到噪声预测
\[
\boldsymbol{\mu}_{\theta}(\mathbf{x}_t,t)=\frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t-\frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t,t)\right)
\]
网络输出的 \(\boldsymbol{\epsilon}_{\theta}\) 被解析系数转换成逆向分布均值。代入 KL 后，第 \(t\) 步变为带解析权重的噪声均方误差：
\[
L_{t-1}-C=\mathbb{E}\!\left[\frac{\beta_t^2}{2\sigma_t^2\alpha_t(1-\bar{\alpha}_t)}\left\lVert\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t,t)\right\rVert^2\right]
\]
Score matching connection
对带噪边际 \(q(\mathbf{x}_t)\)，条件噪声预测与 score 之间满足比例关系：\(\boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t,t)\approx-\sqrt{1-\bar{\alpha}_t}\,\nabla_{\mathbf{x}_t}\log q(\mathbf{x}_t)\)。逆向更新因而类似 annealed Langevin dynamics；本文进一步用变分推断直接训练这条有限步采样链。3.6 简化目标与代价
\[
L_{\mathrm{simple}}(\theta)=\mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\!\left[\left\lVert\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_{\theta}(\sqrt{\bar{\alpha}_t}\mathbf{x}_0+\sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon},t)\right\rVert^2\right]
\]
它删除了上一式的时间权重，等价于重新加权变分上界。本文 schedule 下，这会降低小 \(t\)、低噪声项的相对权重，让网络更多处理大噪声去噪。实验显示 FID 明显改善，NLL 略微变差。
04 · Pipeline
训练一步，采样一千步
TRAIN 01抽取图像
\(\mathbf{x}_0\sim q(\mathbf{x}_0)\)
TRAIN 02抽取时间
\(t\sim\mathrm{Uniform}(\{1,\ldots,T\})\)
TRAIN 03一次加噪
构造 \(\mathbf{x}_t\)，保存真实 \(\boldsymbol{\epsilon}\)。
TRAIN 04U-Net 预测
输入噪声图与时间 embedding。
TRAIN 05更新参数
最小化逐像素噪声 MSE。
\[
\nabla_{\theta}\left\lVert\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_{\theta}(\sqrt{\bar{\alpha}_t}\mathbf{x}_0+\sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon},t)\right\rVert^2
\]
对 \(t=T,\ldots,1\) 反向迭代
\[
\mathbf{x}_{t-1}=\frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t-\frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t,t)\right)+\sigma_t\mathbf{z}
\]
当 \(t\gt1\) 时 \(\mathbf{z}\sim\mathcal{N}(\mathbf{0},\mathbf{I})\)；当 \(t=1\) 时令 \(\mathbf{z}=\mathbf{0}\)，最后一步不再加噪。
输出
论文显示 \(\boldsymbol{\mu}_{\theta}(\mathbf{x}_1,1)\)；代码还会把由噪声反推的 \(\hat{\mathbf{x}}_0\) 裁剪到 \([-1,1]\)。
逆向方差
论文比较 \(\sigma_t^2=\beta_t\) 与 \(\sigma_t^2=\tilde{\beta}_t\)，结果相近。主样本质量模型使用固定 large variance；学习对角方差在消融中训练不稳定。
计算瓶颈
训练样本只访问一个随机时间步，采样必须顺序执行 1,000 次网络计算。CIFAR10 一批 256 张需 17 秒；256² 一批 128 张需 300 秒。
05 · Figures
原论文图像揭示了什么
Figure 1（左）· CelebA-HQ 256×256。 原论文首页样本。该模型在像素空间直接运行，未使用后来常见的 latent diffusion 或文本条件。
Figure 3 · LSUN Church。 FID 7.89；表明模型能生成全局建筑结构，但 Appendix Table 3 中落后于 StyleGAN2 的 3.86。
Figure 4 · LSUN Bedroom。 256M large variant 的 FID 4.90；仍落后于 StyleGAN 的 2.65。
Figure 6 / Appendix Figure 14 · CIFAR10 渐进生成。 从左到右推进逆向链，大尺度类别与轮廓先出现，纹理细节后出现。它支撑 coarse-to-fine 的压缩解释。
Figure 7 · 固定中间隐变量后的随机解码。 右下角是共享的 \(\mathbf{x}_t\)，其余象限为多次逆向采样。较晚分叉会保持性别、发色、姿态等高层属性，说明不可见的中间状态仍保存语义结构。
Figure 8 · CelebA-HQ 潜变量插值。 在 \(t=500\) 的带噪空间线性插值，再用逆向链清理插值伪影；姿态、肤色、发型、表情和背景平滑变化，眼镜属性没有平滑变化。
Appendix D · 记忆检查
Figures 12 与 15 分别在 pixel space 和 Inception feature space 展示生成样本的最近训练集邻居。生成结果与邻居并非复制关系，作为定性证据支持模型没有简单记忆训练图像；它没有提供最近邻距离分布、membership inference 或更强的隐私审计。06 · Reproduction
训练、模型与评测配置
| 项目 | CIFAR10 32² | CelebA-HQ / LSUN 256² |
|---|---|---|
| 网络 | U-Net / Wide ResNet；4 个分辨率；通道倍率 (1,2,2,2) | 6 个分辨率；通道倍率 (1,1,2,2,4,4) |
| 公共结构 | 每层 2 个 convolutional residual blocks；16×16 self-attention；GroupNorm；每个残差块注入 sinusoidal time embedding | |
| 参数量 | 35.7M | 114M；LSUN Bedroom large 约 256M |
| 优化器 | Adam 标准超参数；代码固定梯度全局范数阈值 1；EMA decay 0.9999；warmup 5,000 steps | |
| 学习率 / batch | \(2\times10^{-4}\) / 128 | \(2\times10^{-5}\) / 64 |
| 正则与增强 | dropout 0.1；random horizontal flip | dropout 0；LSUN Bedroom 不翻转，其余数据集翻转 |
| 训练步数 | 800k（10.6 小时，21 steps/s） | CelebA-HQ 0.5M；Bedroom 2.4M；Cat 1.8M；Church 1.2M；Bedroom large 1.15M |
| 硬件 | TPU v3-8，论文描述其计算规模近似 8 张 V100 | |
数据与预处理
CIFAR10 与 CelebA-HQ 使用 TensorFlow Datasets；LSUN 用 StyleGAN 工具准备。8-bit RGB 像素缩放到 \([-1,1]\)。论文沿用各生成建模工作的标准数据划分，未给出新筛选或标注流程。
评测协议
CIFAR10 的 IS 与 FID 使用 50,000 个样本，分别采用 OpenAI Inception 与 TTUR FID 代码。LSUN 用 StyleGAN2 代码计算 50,000 样本 FID。最终数字取训练过程中最低 FID checkpoint 对应的指标。
Appendix C · 与 NCSN 的四项差别
网络与时间条件
DDPM 使用带 self-attention 的 U-Net，并把 sinusoidal \(t\) embedding 注入全部残差块；NCSN 使用含 dilated convolution 的 RefineNet，时间条件只进入 normalization 或输出端。
方差保持
DDPM 每次前向加噪前乘 \(\sqrt{1-\beta_t}\)，避免信号与噪声相加后方差持续增长；NCSN 的 corruption 没有这一缩放。
末态与可逆小步长
DDPM 把信号破坏到 \(q(\mathbf{x}_T\mid\mathbf{x}_0)\) 与标准正态近似一致，并使用很小的 \(\beta_t\)，让单步逆向条件高斯近似合理，减少训练与采样的分布偏移。
采样器也在目标中
DDPM 的步长与噪声系数由 forward schedule 推导，变分目标直接训练有限步采样链；NCSN 在 score 网络训练完成后手工选择 annealed Langevin sampler 系数。
Paper vs. implementation
官方代码固定提交 1e0dceb3b3495bbe19116a5e1b3596cd0706c543。CIFAR10 默认项明确为 model_mean_type='eps'、model_var_type='fixedlarge'、loss_type='mse'；代码补充了正文未逐项列出的 warmup、梯度裁剪与通道倍率。运行环境是 TensorFlow 1.15、Python 3.5 与 Google Cloud TPU/GCS，现代环境复现需要兼容性维护。07 · Results
样本质量、likelihood 与消融
Table 1 · CIFAR10 全部报告行
| 类别 | 模型 | IS ↑ | FID ↓ | NLL Test (Train) ↓ bits/dim |
|---|---|---|---|---|
| Conditional | EBM | 8.30 | 37.9 | — |
| Conditional | JEM | 8.76 | 38.4 | — |
| Conditional | BigGAN | 9.22 | 14.73 | — |
| Conditional | StyleGAN2 + ADA (v1) | 10.06 | 2.67 | — |
| Unconditional | Diffusion (original) | — | — | ≤ 5.40 |
| Unconditional | Gated PixelCNN | 4.60 | 65.93 | 3.03 (2.90) |
| Unconditional | Sparse Transformer | — | — | 2.80 |
| Unconditional | PixelIQN | 5.29 | 49.46 | — |
| Unconditional | EBM | 6.78 | 38.2 | — |
| Unconditional | NCSNv2 | — | 31.75 | — |
| Unconditional | NCSN | 8.87±0.12 | 25.32 | — |
| Unconditional | SNGAN | 8.22±0.05 | 21.7 | — |
| Unconditional | SNGAN-DDLS | 9.09±0.10 | 15.42 | — |
| Unconditional | StyleGAN2 + ADA (v1) | 9.74±0.05 | 3.26 | — |
| Unconditional | Ours (\(L\), fixed isotropic \(\boldsymbol{\Sigma}\)) | 7.67±0.13 | 13.51 | ≤ 3.70 (3.69) |
| Unconditional | Ours (\(L_{\mathrm{simple}}\)) | 9.46±0.11 | 3.17 | ≤ 3.75 (3.72) |
公平性细节
CIFAR10 的 3.17 FID 是相对训练集计算；相对测试集为 5.24。表格混合 conditional 与 unconditional 模型，也混合论文各自报告的数值。本文据此证明“当时极强的无条件样本质量”成立；跨协议的绝对排名需要谨慎解释。Table 2 · 逆向参数化与目标消融
| 预测对象 | 目标 / 方差 | IS ↑ | FID ↓ |
|---|---|---|---|
| \(\tilde{\boldsymbol{\mu}}\) | \(L\)，learned diagonal \(\boldsymbol{\Sigma}\) | 7.28±0.10 | 23.69 |
| \(\tilde{\boldsymbol{\mu}}\) | \(L\)，fixed isotropic \(\boldsymbol{\Sigma}\) | 8.06±0.09 | 13.22 |
| \(\tilde{\boldsymbol{\mu}}\) | unweighted \(\lVert\tilde{\boldsymbol{\mu}}-\tilde{\boldsymbol{\mu}}_{\theta}\rVert^2\) | 不稳定 | 不稳定 |
| \(\boldsymbol{\epsilon}\) | \(L\)，learned diagonal \(\boldsymbol{\Sigma}\) | 不稳定 | 不稳定 |
| \(\boldsymbol{\epsilon}\) | \(L\)，fixed isotropic \(\boldsymbol{\Sigma}\) | 7.67±0.13 | 13.51 |
| \(\boldsymbol{\epsilon}\) | \(L_{\mathrm{simple}}\) | 9.46±0.11 | 3.17 |
消融支持三项具体结论：固定方差比学习对角方差稳定；在真实 ELBO 下预测 \(\tilde{\boldsymbol{\mu}}\) 与预测 \(\boldsymbol{\epsilon}\) 相近；噪声预测与无权重 MSE 的组合带来主要 FID 改善。它没有把网络结构、schedule 和目标逐项完全析因。
Appendix Table 3 · LSUN 256² FID
| 模型 | Bedroom | Church | Cat |
|---|---|---|---|
| ProgressiveGAN | 8.34 | 6.42 | 37.52 |
| StyleGAN | 2.65 | 4.21* | 8.53* |
| StyleGAN2 | — | 3.86 | 6.93 |
| Ours (\(L_{\mathrm{simple}}\)) | 6.36 | 7.89 | 19.75 |
| Ours (large) | 4.90 | — | — |
* StyleGAN2 论文代为报告的 baseline。本文在 LSUN 上达到与 ProgressiveGAN 相近的量级，但没有击败 StyleGAN 系列。
08 · Coding view
为什么 likelihood 普通，样本仍然优秀
最高样本质量模型的总 NLL 为 3.75 bits/dim，其中 rate 为 1.78，distortion 为 1.97；重建 RMSE 只有 0.95（0–255 尺度）。超过一半无损码长用于人眼几乎无法察觉的细节。
\[
\hat{\mathbf{x}}_0=\frac{\mathbf{x}_t-\sqrt{1-\bar{\alpha}_t}\,\boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t,t)}{\sqrt{\bar{\alpha}_t}}
\]
接收端每获得一个更早的隐变量，就能用上式更新当前重建。低码率阶段迅速恢复语义与大尺度结构，后续大量比特只改善细节。
| 逆向时间 \(T-t+1\) | Rate (bits/dim) | Distortion RMSE [0,255] |
|---|---|---|
| 1000 | 1.77581 | 0.95136 |
| 900 | 0.11994 | 12.02277 |
| 800 | 0.05415 | 18.47482 |
| 700 | 0.02866 | 24.43656 |
| 600 | 0.01507 | 30.80948 |
| 500 | 0.00716 | 38.03236 |
| 400 | 0.00282 | 46.12765 |
| 300 | 0.00081 | 54.18826 |
| 200 | 0.00013 | 60.97170 |
| 100 | 0.00000 | 67.60125 |
Algorithms 3–4 · 发送与接收
发送端：给定 \(\mathbf{x}_0\)
- 用先验 \(p(\mathbf{x}_T)\) 编码并发送 \(\mathbf{x}_T\sim q(\mathbf{x}_T\mid\mathbf{x}_0)\)。
- 对 \(t=T-1,\ldots,1\)，用接收端已有的 \(p_{\theta}(\mathbf{x}_t\mid\mathbf{x}_{t+1})\) 编码并发送 \(\mathbf{x}_t\sim q(\mathbf{x}_t\mid\mathbf{x}_{t+1},\mathbf{x}_0)\)。
- 最后用离散 decoder \(p_{\theta}(\mathbf{x}_0\mid\mathbf{x}_1)\) 发送 \(\mathbf{x}_0\)。
接收端
- 按先验接收 \(\mathbf{x}_T\)。
- 对 \(t=T-1,\ldots,0\)，按已经共享的逆向分布 \(p_{\theta}(\mathbf{x}_t\mid\mathbf{x}_{t+1})\) 接收下一状态。
- 任意中途时刻都能从当前 \(\mathbf{x}_t\) 计算 \(\hat{\mathbf{x}}_0\)；完整接收后返回离散图像。
如果存在能以约 \(D_{\mathrm{KL}}(q\mathbin\Vert p)\) 平均比特发送样本的 minimal random coding 程序，逐步码长相加恰好对应 ELBO 的 \(L_T\)、\(L_{T-1},\ldots,L_1\) 与 \(L_0\)。这一对应解释了 rate-distortion 表的“rate”如何累计。
证据边界
发送算法依赖 minimal random coding 一类过程，而它对高维数据不可行。论文明确将这部分称为 proof of concept：它解释 ELBO 和渐进解码，尚未构成可用压缩器。广义 autoregressive decoding
如果前向过程改成每步遮掉一个坐标，逆向模型就逐坐标恢复数据，退化为 autoregressive model。高斯扩散则像一种无法用像素重排表达的“软位序”：各频率、尺度与空间位置的信息在噪声过程中连续消失，再按粗到细的次序恢复。这是作者解释图像归纳偏置的推测，论文没有用频谱或语义探针直接证明。
09 · Evidence map
论文验证、作者主张与我们的解释
Paper verified
- 噪声预测 + \(L_{\mathrm{simple}}\) 在 CIFAR10 获得 3.17 FID。
- 真实 ELBO 的 NLL 优于简化目标。
- 学习逆向对角方差在本组实验中不稳定。
- 中间隐变量的固定条件采样保留高层视觉属性。
Author claim
- 高斯扩散带来类似广义 autoregressive bit ordering 的图像归纳偏置。
- 优秀样本与普通 NLL 的差距说明模型是优秀的有损压缩器。
- 渐进生成可能暗示 conceptual compression。
Our interpretation
- \(L_{\mathrm{simple}}\) 的主要作用是重分配时间步梯度预算，而 \(\boldsymbol{\epsilon}\) 参数化让这种统一加权在数值尺度上可行。
- 固定小方差 schedule 同时控制训练目标、采样系数与 prior mismatch，是系统级耦合设计。
Research extension
- 学习更合适的时间步采样与 loss weighting，在 FID 与 NLL 之间显式优化 Pareto frontier。
- 把确定的 1,000 步链蒸馏或改写成连续时间求解器。
- 用频谱、语义 probe 和 rate allocation 直接检验 coarse-to-fine 假设。
- 在材质图或程序图生成中，把可执行验证反馈并入逆向去噪。
10 · Reviewer
审稿视角
Strengths
- 把扩散、变分推断、score matching 与 Langevin sampling 写进统一数学框架。
- 算法极简，训练时可随机访问任意噪声尺度。
- 附录给出参数量、硬件、训练速度、步数与多数超参数。
- likelihood 与 FID 的冲突被正面报告。
- 开源代码与论文核心公式高度一致。
Weaknesses
- 每张图像需要 1,000 次串行网络评估。
- LSUN 指标仍落后于 StyleGAN 系列。
- 表格的 FID 参考集与来源协议并不完全统一。
- 只报告最小 FID checkpoint，存在评测选择效应。
- 架构、schedule、目标权重之间缺少完整析因实验。
- 渐进压缩依赖不可行的高维编码程序。
Reproducibility
- 数据划分仅称沿用标准做法，缺少逐条清单。
- Adam “标准值”没有在论文中显式列出 \(\beta_1,\beta_2,\epsilon\)。
- 代码依赖 TensorFlow 1.15、TPU 与 GCS。
- 256M Bedroom 模型只说明增加 filter count，公开脚本未直接给出该变体配置。
- 没有随机种子汇总或多次独立训练误差。
Reviewer judgment
技术影响来自组合与解释的清晰度。 \(\boldsymbol{\epsilon}\) 参数化在概率模型中只是逆向均值的重参数化，但它使简单的统一 MSE、可扩展 U-Net 与严格采样系数组成一个有效系统。Table 2 对主要主张提供了直接支持；对“为何图像上特别有效”的解释仍主要是推测。11 · Extensions
从这篇论文继续向前
采样效率
研究学习方差、非均匀时间网格、确定性轨迹与少步蒸馏。目标是在固定计算预算下控制每一步对语义结构和高频细节的贡献。
目标函数设计
将 perceptual quality、likelihood 与不同噪声区间的权重写成可解释的多目标问题；用 gradient SNR 或在线难度估计分配时间步。
结构化输出
对 material graph、shader graph 或程序 token，前向 corruption 可以作用于拓扑、节点参数和渲染结果；逆向过程需要有效性约束与 renderer-in-the-loop 修复。
反馈式推理
把每个逆向状态看成可检查的中间方案，加入外部执行、感知指标、回溯和重采样。论文的固定马尔可夫链提供基线，新的研究问题是怎样让反馈改变后续去噪轨迹。
12 · Sources
资料与版本
- Ho, Jain, Abbeel. Denoising Diffusion Probabilistic Models. arXiv:2006.11239v2. 本页数学、正文与附录配置的主要来源。
- NeurIPS 2020 正式论文记录。正式作者名显示为 Ajay N. Jain。
- 官方实现，固定提交 1e0dceb3…。用于核对网络通道、warmup、梯度裁剪、方差类型与运行依赖。
- 官方项目页。提供论文、样本与代码入口。
- Sohl-Dickstein et al. Deep Unsupervised Learning using Nonequilibrium Thermodynamics, ICML 2015。扩散概率模型与 ELBO 推导的基础。
- Song & Ermon. Generative Modeling by Estimating Gradients of the Data Distribution, NeurIPS 2019。denoising score matching 与 annealed Langevin dynamics 的对照来源。