文献类型
教学性综述与数学推导；没有新训练模型、数据集、主实验表或 SOTA 指标。不能为满足“实验”模板而编造 FID、GPU 或消融结果。
01 · 这篇教程真正统一了什么
同一个高斯去噪学习问题，可以被理解为多层潜变量模型的变分推断、从噪声恢复原数据的回归、预测加入的噪声，以及学习数据分布的 score。本文的价值是把这些视角逐步连起来，而不是提出一个新的领先生成模型。
Calvin Luo，Google Research, Brain Team；固定阅读版本 arXiv:2208.11970v1 于 2022-08-25 提交，PDF 标题页写 August 26, 2022，共 23 页（22 页内容与 1 页参考文献），无独立附录。当前自动生成 HTML 页头出现 August 24, 2026，与固定 PDF 不同，不作为发表日期。PDF SHA-256 为 431ebb18fb1d504982b976b700ff09388ab74a5ec759fc8806af6fddac5272bf，与既有文件匹配。
阅读主线
ELBO → VAE → Markovian HVAE → 固定高斯 encoder → 去噪 KL → 加权回归 → score → guidance。
必须保留的条件
固定噪声日程、匹配的反向方差、正确的时间权重及条件期望。参数化可相互转换，不代表所有无权重 MSE 在有限网络里表现相同。
本文同时作独立数学审读：原公式 44→45 的 KL 转写、132–151 的 Tweedie 记号，以及任意 guidance 强度下的等号需要特别谨慎。以下修正与反例明确标为本解读的审查，不冒充作者勘误。最后提供原编号 1–170 的逐式索引及规范化公式以便核对。
02 · 概率模型、符号与任务
输入是来自未知数据分布的样本，目标是学习能采样的新分布，并在某些形式下估计 likelihood。GAN 学对抗生成过程；自回归、flow 和 VAE 属于不同 likelihood-based 路线；energy-based model 用能量函数表示未归一化密度；score model 直接学对数密度对数据的梯度。本文连接后两者与变分扩散，不宣称所有生成范式等价。
| 记号 | 含义 | 容易混淆处 |
|---|---|---|
| \(x=x_0\) | 真实观测 | 这里是一般向量，不要求一定为图像 |
| \(z\)、\(z_{1:T}\) | VAE/HVAE 潜变量 | 普通 VAE 可以压缩维度 |
| \(x_t\) | 扩散的第 t 个噪声层级 | 本文 VDM 与原数据同维度，不是压缩语义编码 |
| \(q_\phi\) | 可学习的近似 posterior/encoder | 扩散中结构固定后去掉 \(\phi\)，日程仍可能学习 |
| \(p_\theta\) | 生成或反向模型 | 不等于真实逆过程 |
| \(\alpha_t,\bar\alpha_t\) | 单步信号保留量与累计乘积 | \(\bar\alpha_t=\prod_{i=1}^{t}\alpha_i\)，不能混用 |
| \(s_\theta(x_t,t)\) | 噪声层级的 score 预测 | 梯度对 \(x_t\)，不是对参数 \(\theta\) |
| \(y,\gamma\) | 条件与 guidance 强度 | 本文 \(\gamma=1\) 为普通条件模型，和某些实现的 w 约定不同 |
为清晰起见，正文将原文粗体向量简写为普通数学符号；正向 \(\alpha_t\) 的定义遵从固定 PDF，与一些文献把 \(\alpha_t\) 直接记为累计信号标准差的习惯不同。
03 · ELBO：下界、推断与生成参数的区别
原公式 1–4 从联合分布出发：边缘似然可由 \(p(x)=\int p(x,z)\,dz\) 得到，但积分通常不可解；又有 \(p(x)=p(x,z)/p(z\mid x)\)，而真正 posterior 也不可直接求。引入可计算的近似 \(q_\phi(z\mid x)\)，得到：
\[\mathcal L(x;\theta,\phi)=\mathbb E_{q_\phi(z\mid x)}\left[\log p_\theta(x,z)-\log q_\phi(z\mid x)\right].\]两条推导路径
原式 5–8 用重要性权重重写积分，再由 log 的凹性将 log 与 expectation 的顺序交换，得到下界。原式 9–16 则显式拆出 KL，解释了下界间隙：
\[\log p_\theta(x)=\mathcal L(x;\theta,\phi)+D_{\mathrm{KL}}\!\left(q_\phi(z\mid x)\,\|\,p_\theta(z\mid x)\right).\]KL 非负使 ELBO 成为下界；当近似 posterior 恰好等于模型 posterior 时，间隙为零。固定 \(\theta\) 时，改变 \(\phi\) 不改变左边，因此最大化 ELBO 等价于缩小推断误差；但联合优化生成参数 \(\theta\) 时左边也会变，不能说所有参数下 evidence 总是常数。模型 posterior 是给定模型的 posterior，也不应误称已经知道真实数据生成机制。
KL 为零不保证模型已学到真实数据分布，只说明近似推断与当前模型匹配；ELBO 高、样本好看、数据覆盖全面也不是同一个指标。PDF 第 3 页，原式 5–16
VAE 的重建与 prior matching
\[\mathcal L=\mathbb E_{q_\phi(z\mid x)}\log p_\theta(x\mid z)-D_{\mathrm{KL}}\!\left(q_\phi(z\mid x)\,\|\,p(z)\right).\]原式 17–19 将联合分布拆为 decoder 与 prior。第一项鼓励 latent 保留可解释观测的信息，第二项鼓励编码分布接近生成时使用的 prior。这里 decoder 是条件概率分布；神经网络确定性地输出其参数，不应把 \(p_\theta(x\mid z)\) 本身简单称为确定性函数。
\[q_\phi(z\mid x)=\mathcal N\!\left(\mu_\phi(x),\operatorname{diag}(\sigma_\phi^2(x))\right),\qquad p(z)=\mathcal N(0,I).\] \[z=\mu_\phi(x)+\sigma_\phi(x)\odot\epsilon,\qquad \epsilon\sim\mathcal N(0,I).\]原式 20–22 使用高斯近似和 Monte Carlo。重参数化把随机性放到与参数无关的 \(\epsilon\)，梯度可沿 \(\mu_\phi,\sigma_\phi\) 传回 encoder。独立抽样不是对随机动作硬求导。若用 \(L\) 个 latent 样本，重建期望的无偏近似需要 \(\frac1L\sum_l\log p_\theta(x\mid z^{(l)})\)；原式 22 的求和未写 \(1/L\)，一般多样本场景不能只放大重建项而不说明其相对 KL 权重。
训练后从 \(p(z)\) 采样，再通过 decoder 生成。普通 VAE 可学低维语义结构，但不保证每个维度自动可解释；prior 正则还存在 posterior collapse 等可能，不能将第二项等同于必然学会有用潜空间。
04 · 从多层 VAE 到固定噪声的扩散
普通 HVAE 可以在层间设置更复杂依赖；本文限定为 Markovian HVAE，只依赖相邻层：
\[p_\theta(x,z_{1:T})=p(z_T)p_\theta(x\mid z_1)\prod_{t=2}^{T}p_\theta(z_{t-1}\mid z_t),\] \[q_\phi(z_{1:T}\mid x)=q_\phi(z_1\mid x)\prod_{t=2}^{T}q_\phi(z_t\mid z_{t-1}).\]原式 23–29 只把单 latent 换成整条 latent 链，Jensen 推导不变。这是概率模型结构上的层级，不等于网络必须有 T 套互不共享的参数。
VDM 的三个限制
- 每一层 latent 与数据同维度，以 \(x_t\) 统一命名，\(x_0\) 为真实观测
- encoder 为已指定结构的线性高斯转移，不学习任意图像编码网络
- 安排噪声日程，使终点接近标准高斯，便于从简单 prior 采样
原式 30–33 定义 forward 与 reverse。若 \(\operatorname{Var}(x_{t-1})=I\)，单步 variance 保持 I；这不表示任意条件分布 \(q(x_t\mid x_0)\) 方差都是 I。最重要的是“噪声过程可算，逆过程要学”。
Fig. 3 从图像到高斯噪声的链示意了 prior 变简单的过程。有限 T 下通常只是近似标准高斯；只要 \(\bar\alpha_T\) 仍非零，\(q(x_T\mid x_0)\) 还带有原图均值。若进一步学习噪声日程，其 endpoint 和 prior matching 项也未必对日程参数为常数。
05 · 正确理解两条扩散 ELBO 路径
原式 34–44 展开联合密度比，将项分为首层重建、终层 prior matching，以及每个中间层 forward/backward 的 log-density 比。Fig. 4 试图将其解释成相邻分布匹配：
独立数学审查：原式 44→45 把对三变量联合分布的期望直接变成前向分布与反向分布的 KL，一般不成立。已知未来状态时，中间变量的条件分布是桥接分布，而非只给定过去的前向分布。下节给出可逐项复算的反例；训练推导应使用原式 46–58 的标准 posterior matching 路径。
第二条路径：Bayes 反转与望远镜消去
\[q(x_t\mid x_{t-1},x_0)=\frac{q(x_{t-1}\mid x_t,x_0)\,q(x_t\mid x_0)}{q(x_{t-1}\mid x_0)}.\]因 Markov 性，左边可省去 \(x_0\)。把这条式子代入正向链，所有中间边缘密度成望远镜相消，得到原式 58：
\[\begin{aligned} \mathcal L(x_0)={}&\mathbb E_{q(x_1\mid x_0)}\log p_\theta(x_0\mid x_1) -D_{\mathrm{KL}}\!\left(q(x_T\mid x_0)\,\|\,p(x_T)\right)\\ &-\sum_{t=2}^{T}\mathbb E_{q(x_t\mid x_0)} D_{\mathrm{KL}}\!\left(q(x_{t-1}\mid x_t,x_0)\,\|\,p_\theta(x_{t-1}\mid x_t)\right). \end{aligned}\]首项是 reconstruction，第二项是终点匹配，最后一项是 denoising matching。训练时知道 \(x_0\)，所以可使用解析教师 posterior \(q(x_{t-1}\mid x_t,x_0)\)；生成时不知道 \(x_0\)，所以学生只能输入 \(x_t,t\)。教师的额外信息没有泄漏给推理过程，正是监督信号的来源。
Fig. 5 的粉色箭头为解析 posterior，严格说还应从 \(x_0\) 连入，作者在图注中已提醒。每项 KL 可解析求出，只需对噪声状态抽样。原文把这称为更低方差：关键收益来自将可解析的变量积分掉；不能以“随机变量数量少一个”本身当作任意估计器方差必然更低的通用定理。
独立数学审查：44→45 的桥接条件反例
固定一维 \(x_0=0\)，取 \(\alpha_1=\alpha_2=1/2\)，则 \(x_1\sim\mathcal N(0,1/2)\)，\(x_2=x_1/\sqrt2+\epsilon_2/\sqrt2\)，其中 \(\epsilon_2\sim\mathcal N(0,1)\)。所以 \(\operatorname{Var}(x_2)=3/4\)，且：
\[q(x_1\mid x_2,x_0=0)=\mathcal N\left(\frac{\sqrt2}{3}x_2,\frac13\right).\]令测试用反向 \(p_\theta(x_1\mid x_2)\) 恰等于这个条件分布。这只用于检验中间项的等式，不要求整个生成模型为最优。原式 44 的真实联合期望为互信息：
\[\mathbb E_{q(x_1,x_2\mid x_0=0)}\log\frac{p_\theta(x_1\mid x_2)}{q(x_1\mid x_0=0)} =\frac12\log\frac{3}{2}\approx0.202733.\]原式 45 所写的对应负 KL 则先在固定 \(x_2\) 下对独立的前向 \(\mathcal N(0,1/2)\) 积分，再平均 \(x_2\)，得到：
\[-\mathbb E_{q(x_2\mid x_0=0)} D_{\mathrm{KL}}\!\left(\mathcal N(0,1/2)\,\|\,\mathcal N(\sqrt2x_2/3,1/3)\right) =-\frac12\left[\log\frac23+1\right]\approx-0.297267.\]两者差 0.5，符号也不同。复算只需高斯 KL：均值平方项平均为 \((2/9)(3/4)=1/6\)，于是方差加均值项除以 \(1/3\) 为 2。原式 44 的内层条件应是 \(q(x_t\mid x_{t-1},x_{t+1},x_0)\)；Markov 性不能在给定未来状态时删去该信息。这个结论是本解读对固定 v1 的数学核查，不是已经找到的作者公开勘误，也不否定标准式 58。
06 · 闭式噪声边缘与真实去噪 posterior
为什么训练无需走完 t 步加噪
\[x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon,\qquad \bar\alpha_t=\prod_{i=1}^{t}\alpha_i,\quad \epsilon\sim\mathcal N(0,I).\] \[q(x_t\mid x_0)=\mathcal N(\sqrt{\bar\alpha_t}x_0,(1-\bar\alpha_t)I).\]原式 59–70 反复代入单步重参数化；独立高斯的方差相加，得到累计信号和累计噪声。这里合并后的 \(\epsilon\) 是等分布的新标准高斯，不是把每一步真实噪声都设成同一个样本。训练可以直接抽 t 并构造 \(x_t\)，无需逐步模拟 \(x_1,\ldots,x_t\)。
配方求 posterior
\[q(x_{t-1}\mid x_t,x_0)=\mathcal N\left(\widetilde\mu_t(x_t,x_0),\widetilde\beta_t I\right),\] \[\widetilde\mu_t=\frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}x_t+ \frac{\sqrt{\bar\alpha_{t-1}}(1-\alpha_t)}{1-\bar\alpha_t}x_0,\qquad \widetilde\beta_t=\frac{(1-\alpha_t)(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}.\]原式 71–85 用 Bayes 将三个高斯相除，展开指数，收集关于 \(x_{t-1}\) 的二次项和一次项，最后配方。归一化中只依赖 \(x_t,x_0\) 的项可临时并入常数，但最终必须恢复合法高斯密度。两项均值系数反映“当前噪声状态”和“干净目标”的信息权衡；越接近干净端，已知 \(x_0\) 的约束越强。
要特别区分 \(q(x_{t-1}\mid x_t,x_0)\) 与 \(q(x_{t-1}\mid x_t)\)：前者固定了原样本，严格为高斯；后者对数据 posterior 混合后一般不再是单高斯。将反向模型设成高斯是建模选择，不是证明真实离散反向边缘在任意大步长下天然高斯。
相同协方差让 KL 化成 MSE
\[D_{\mathrm{KL}}\!\left(\mathcal N(\mu_q,\widetilde\beta_t I)\,\|\,\mathcal N(\mu_\theta,\widetilde\beta_t I)\right) =\frac{1}{2\widetilde\beta_t}\|\mu_\theta-\mu_q\|_2^2.\]原式 86–92 的一般高斯 KL 包含 log determinant、维数、trace、均值二次型。协方差完全匹配后前三项抵消，留下加权均值误差。如果也学习反向方差，不能再直接删掉它们；\(t=1\) 的 posterior 方差为零，应作为 reconstruction/decoder 边界处理，不能机械代入有倒数的式子。
07 · 三种预测目标的等价与不等价
预测干净数据
在 posterior 均值中用 \(\widehat x_\theta(x_t,t)\) 代替 \(x_0\)，原式 93–99 化为：
\[\mathcal L_{x,t}= \frac{\bar\alpha_{t-1}(1-\alpha_t)^2}{2\widetilde\beta_t(1-\bar\alpha_t)^2} \|\widehat x_\theta(x_t,t)-x_0\|_2^2.\]这是对同一个 KL 的重参数化；训练对 \(x_0,t,\epsilon\) 取期望。原式 100 把 t 求和转成均匀抽样的期望；只优化该和时相差的全局常数不影响最优点，但若和边界项一起比较数值，需要恢复 \(T-1\) 因子。
预测噪声
\[\widehat x_\theta=\frac{x_t-\sqrt{1-\bar\alpha_t}\,\epsilon_\theta(x_t,t)}{\sqrt{\bar\alpha_t}},\] \[\mu_\theta(x_t,t)=\frac1{\sqrt{\alpha_t}}\left[x_t-\frac{1-\alpha_t}{\sqrt{1-\bar\alpha_t}}\epsilon_\theta(x_t,t)\right],\] \[\mathcal L_{\epsilon,t}=\frac{(1-\alpha_t)^2}{2\widetilde\beta_t(1-\bar\alpha_t)\alpha_t} \|\epsilon-\epsilon_\theta(x_t,t)\|_2^2.\]原式 115–130 将干净图表示代回 posterior 均值并合并项。噪声样本是训练时自己加进去的，所以监督免费且精确；但只给定一个 \(x_t\)，网络一般不能唯一恢复当初哪一对 \(x_0,\epsilon\)。平方损失最优解是 \(\mathbb E[\epsilon\mid x_t]\)，不是“每个样本噪声都可以无误差预测”。
预测 score：必须保留条件期望
\[s^{\ast}(x_t,t)=\nabla_{x_t}\log q_t(x_t),\qquad \mathbb E[x_0\mid x_t]=\frac{x_t+(1-\bar\alpha_t)s^{\ast}(x_t,t)}{\sqrt{\bar\alpha_t}}.\] \[s^{\ast}(x_t,t)=-\frac{\mathbb E[\epsilon\mid x_t]}{\sqrt{1-\bar\alpha_t}},\qquad \nabla_{x_t}\log q(x_t\mid x_0)=-\frac{\epsilon}{\sqrt{1-\bar\alpha_t}}.\]原式 131 的 Tweedie 公式本来是 posterior mean。原式 132–133 把左侧写成样本 \(x_0\)，149–151 又把 marginal score 直接等同于单个噪声样本，这需要按上面的条件期望解释。两个 score 的区别是：条件 score 可以直接从加噪样本求出；边缘 score 是这些条件 score 在给定 \(x_t\) 后的平均。
因此去噪 score matching 可以用条件 score 作 noisy target，最优预测仍是 marginal score；损失与直接拟合 marginal score 只差一个不依赖模型参数的条件方差项。这才是严格的“噪声预测和 score 学习等价”。
\[\mu_\theta(x_t,t)=\frac1{\sqrt{\alpha_t}}\big[x_t+(1-\alpha_t)s_\theta(x_t,t)\big].\]原式 134–148 的参数化在上述期望意义下成立。保持原 KL 对应的时间权重时，三种表示可以互转；随意把权重全部设为 1、改变网络输出尺度或采用有限容量时，优化问题及训练行为会变化。论文引用噪声预测经验效果更好，但未在本文训练模型做新的比较。
08 · 用 SNR 学习噪声日程
\[\operatorname{SNR}(t)=\frac{\bar\alpha_t}{1-\bar\alpha_t},\qquad \mathcal L_{x,t}=\frac12\big[\operatorname{SNR}(t-1)-\operatorname{SNR}(t)\big] \|\widehat x_\theta-x_0\|_2^2.\]原式 101–110 把均值 MSE 的复杂系数化简成相邻 SNR 差。它直接体现每一步丢失多少信号、该步误差该有多大权重。日程并非外部无关常数：改变它还改变训练输入的噪声分布。
\[\operatorname{SNR}(t)=\exp[-\omega_\eta(t)],\qquad \bar\alpha_t=\operatorname{sigmoid}[-\omega_\eta(t)],\qquad 1-\bar\alpha_t=\operatorname{sigmoid}[\omega_\eta(t)].\]原式 111–114 让 \(\omega_\eta(t)\) 单调递增，从而 SNR 正且递减。直接预测累计量可避免为计算乘积反复查询每一步 \(\alpha_i\)，必要时由 \(\alpha_t=\bar\alpha_t/\bar\alpha_{t-1}\) 恢复单步系数。
“可学习 schedule”不代表使用任意 MLP 就能保证单调，也不代表可以忽略首尾边界。原文只讲参数化与数学思路，没有给单调网络层数、学习率、endpoint 约束或某套实测最优配置；不能把它写成已完成实验的工程 recipe。
09 · 能量模型、Langevin 与多尺度 score
\[p_\theta(x)=\frac{\exp[-f_\theta(x)]}{Z_\theta},\qquad \nabla_x\log p_\theta(x)=-\nabla_x f_\theta(x).\]原式 152–156 利用 \(Z_\theta\) 对 x 为常数，求梯度后不再需要难算的归一化积分。这并不表示最大似然训练时 \(Z_\theta\) 对 \(\theta\) 也为常数；“对数据求梯度”和“对参数求梯度”必须分开。
\[\mathcal J(\theta)=\mathbb E_{p_{\mathrm{data}}(x)} \|s_\theta(x)-\nabla_x\log p_{\mathrm{data}}(x)\|_2^2.\]原式 157 是 Fisher divergence 形式，但真实 score 不可直接获得，所以需要 score matching / denoising score matching 的恒等变换。一个任意向量场网络也不必处处严格可积成某个规范化密度；训练目标推动它逼近合法 score，不是网络结构自动保证。
原式 158 是离散 Langevin。score 漂移指向高密度区域，噪声允许不同轨迹和分布内探索。目标应是采样分布，不是所有样本都到达一个 mode；固定有限步长存在离散化偏差，有限迭代也不保证混合。Fig. 6 的三条轨迹说明随机性改变路径，并不是收敛证明。
为何引入多个噪声层级
- 若数据集中在低维流形，环境空间里的普通密度/score 定义可能不良；高斯卷积使分布平滑并扩展支持集
- 低密度区域训练信号弱，但从随机噪声出发恰会经过那里；大噪声层让训练覆盖更广
- 多峰分布间可能混合缓慢；高噪声层连接模式，再逐步降噪比从一开始就在窄峰之间移动更容易
原式 160–161 写多尺度扰动和加权 score 目标。Annealed Langevin 从大噪声逐级向小噪声运行，每一级以上一级终点初始化。本文这里的加性扰动没有乘 \(\sqrt{\bar\alpha_t}\)，与之前 variance-preserving 写法的尺度不同，比较前需做重缩放；训练视角相通不代表每一个离散 sampler 逐步完全相同。
原式 159 的混合权重讨论需要条件：当成分支持集严格分离时，单个分量内部的 score 不反映它的全局权重，局部采样难恢复比例；一般有重叠的高斯混合中，score 通过 posterior responsibility 仍依赖混合系数。不能把 \(\log(c_1p_1+c_2p_2)\) 错拆为两个 log 之和。
连续时间极限可用 SDE 表示正向扰动，逆 SDE 依赖各时间的 score。本文只作概念连接，没有完整推导 SDE、probability-flow ODE 或数值求解器，因此本精读不补造成原文已有的算法。
10 · 条件生成、classifier 与 classifier-free guidance
\[p_\theta(x_{0:T}\mid y)=p(x_T)\prod_{t=1}^{T}p_\theta(x_{t-1}\mid x_t,y).\]原式 162 可将 y 设为类别、文本编码或低分辨率图像。训练目标仍可选择干净数据、噪声或 score，只是在网络中加入条件。Guidance 是采样时加强条件作用的办法，不等同于重新训练一个更大条件模型。
Classifier guidance
\[\nabla_{x_t}\log p(x_t\mid y)= \nabla_{x_t}\log p(x_t)+\nabla_{x_t}\log p(y\mid x_t).\]原式 163–165 由 Bayes 展开，\(\nabla_{x_t}\log p(y)=0\)。分类器必须能处理带噪 \(x_t\)，不能直接假定干净图像分类器在全部 t 都可靠。
\[s_{\mathrm{guided}}(x_t,y)=s_{\mathrm{uncond}}(x_t)+\gamma\nabla_{x_t}\log p(y\mid x_t).\]原式 166 若 \(\gamma\ne1\)，左边不再是原始条件密度的 score，应单独命名 guided score。固定时间看，它对应形式上的倾斜密度 \(p(x_t)p(y\mid x_t)^\gamma\) 的对数梯度；不能进一步保证所有 t 的这种倾斜都对应一个共同精确 forward marginal family。
Classifier-free guidance
\[s_{\mathrm{guided}}=\gamma s_{\mathrm{cond}}+(1-\gamma)s_{\mathrm{uncond}} =s_{\mathrm{uncond}}+\gamma(s_{\mathrm{cond}}-s_{\mathrm{uncond}}).\]原式 167–170 利用 conditional score 与 unconditional score 之差替代分类器梯度。训练时随机丢弃条件，使同一网络同时支持条件和无条件查询；采样常需要两次预测后线性组合。一个网络不意味着一次网络前向，也不意味着没有额外计算。
- \(\gamma=0\)：无条件
- \(\gamma=1\)：普通条件模型
- \(\gamma\gt1\)：向条件方向外推，常提高遵循程度但降低多样性
有些实现写成 \((1+w)s_{\mathrm{cond}}-ws_{\mathrm{uncond}}\)，则 \(w=\gamma-1\)。比较论文或代码时必须先对齐约定。本文没有给出某个“最好”的 guidance 值、dropout 概率或性能曲线；这些不是本教程实测结论。
11 · 如何把数学变成训练与采样
固定 schedule 的最小训练闭环
- 抽数据 \(x_0\)、时间 t 和标准高斯噪声 \(\epsilon\)
- 用闭式边缘一次构造 \(x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon\)
- 网络以 \(x_t,t\)（可加 y）预测选择的目标
- 计算相应时间权重的平方损失；明确是否保留真实 ELBO 权重及边界项
- 更新网络；若学习 schedule，还需更新其参数并保证单调与端点约束
生成闭环
- 从 \(\mathcal N(0,I)\) 抽 \(x_T\)
- 从 T 到 1 预测噪声/干净数据/score，并转换成反向均值
- 在所选反向方差下抽 \(x_{t-1}\)，接近终点时按 decoder/边界约定处理
- 若启用 guidance，先按统一参数化组合条件/无条件或分类器梯度，再更新
这只是从推导得到的教学算法，不是本文发布的可运行官方项目。教程没有指定 U-Net 层数、学习率、训练数据、训练步数、硬件、FID、参数量或基线实验。复现应选定其引用的 DDPM、VDM 或 score-SDE 原始工作，再使用对应 checkpoint 和实现，而不是把几套不同噪声定义混在一起。
审稿式评价
最大的优点是把高斯配方、KL 化简和重参数化展开到读者能追踪的程度；最大风险也来自推导太长时条件与期望被符号简写掩盖。作为教程应以教学覆盖和数学准确性评估，不应要求它提供一个不存在的新 benchmark 排名。
结尾关于不可解释 latent、同维度与采样昂贵的讨论属于本篇特定 VDM 设定和 2022 年语境，不能推广成“一切后来 diffusion 都不能在压缩 latent 中工作”。关于人类不会逐步去噪的说法是直觉评论，不是模型能力的实验证据。该文没有独立实验、消融、应用数据表或附录；这些项目在交付中明确标为不适用。
值得做的教学验证
研究延伸而非原文结果：在一维高斯混合上比较真实 marginal score、conditional score 与噪声回归的条件均值；保持同一 KL 权重比较三种参数化；固定总采样预算扫描 Langevin 步长与多尺度数量；将 \(\gamma\) 与条件一致性、多样性及偏差一同记录。这些小实验能比只记住“都是 MSE”更有效检验理解。
12 · 原公式 1–170 的逐式核对本
以下保留所有原编号的推导行，去除只用于 PDF 排版的 scalebox/mbox、取消线和字体控制，转换为独立 HTML 的标准 MathJax。每个分组前说明逻辑功能；以等号开头的行承接组内此前的左端，不作为孤立定理。特别是 45、132–151、166、168–170 保留的是原文写法，必须结合上文审查理解，不代表本解读为其所有等号背书。
原式 1–16 · 边缘化、Jensen 与 KL 间隙：两条 ELBO 推导
原式 (1)
\[p({\boldsymbol{x}})=\int p({\boldsymbol{x}},{\boldsymbol{z}})d{\boldsymbol{z}}\]原式 (2)
\[p({\boldsymbol{x}})=\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{p({\boldsymbol{z}}|{\boldsymbol{x}})}\]原式 (3)
\[\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\]原式 (4)
\[\log p({\boldsymbol{x}})\geq\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\]原式 (5)
\[\displaystyle\log p({\boldsymbol{x}})\displaystyle=\log\int p({\boldsymbol{x}},{\boldsymbol{z}})d{\boldsymbol{z}}\]原式 (6)
\[\displaystyle=\log\int\frac{p({\boldsymbol{x}},{\boldsymbol{z}})q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}d{\boldsymbol{z}}\]原式 (7)
\[\displaystyle=\log\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\]原式 (8)
\[\displaystyle\geq\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\]原式 (9)
\[\displaystyle\log p({\boldsymbol{x}})\displaystyle=\log p({\boldsymbol{x}})\int q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})dz\]原式 (10)
\[\displaystyle=\int q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})(\log p({\boldsymbol{x}}))dz\]原式 (11)
\[\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log p({\boldsymbol{x}})\right]\]原式 (12)
\[\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{p({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\]原式 (13)
\[\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}{p({\boldsymbol{z}}|{\boldsymbol{x}})q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\]原式 (14)
\[\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}{p({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\]原式 (15)
\[\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]+D_{\mathrm{KL}}(q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})\;\|\;p({\boldsymbol{z}}|{\boldsymbol{x}}))\]原式 (16)
\[\displaystyle\geq\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\]原式 17–22 · VAE：重建、先验匹配与 Monte Carlo；式 22 多样本平均需补充 1/L
原式 (17)
\[\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]\displaystyle={ {\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}|{\boldsymbol{z}})p({\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]}}\]原式 (18)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}|{\boldsymbol{z}})\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{z}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\right]}}\]原式 (19)
\[\displaystyle=\underbrace{ { {\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}|{\boldsymbol{z}})\right]}}}_{\text{reconstruction term}}-\underbrace{ { {\displaystyle D_{\mathrm{KL}}(q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})\;\|\;p({\boldsymbol{z}}))}}}_{\text{prior matching term}}\]原式 (20)
\[\displaystyle q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})\displaystyle=\mathcal{N}({\boldsymbol{z}};\boldsymbol{\mu}_{\boldsymbol{\phi}}({\boldsymbol{x}}),\boldsymbol{\sigma}_{\boldsymbol{\phi}}^{2}({\boldsymbol{x}})\mathbf{I})\]原式 (21)
\[\displaystyle p({\boldsymbol{z}})\displaystyle=\mathcal{N}({\boldsymbol{z}};\boldsymbol{0},\mathbf{I})\]原式 (22)
\[\displaystyle\operatorname*{arg\,max}_{\boldsymbol{\phi},\boldsymbol{\theta}}\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}|{\boldsymbol{z}})\right]-D_{\mathrm{KL}}(q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})\;\|\;p({\boldsymbol{z}}))\approx\operatorname*{arg\,max}_{\boldsymbol{\phi},\boldsymbol{\theta}}\sum_{l=1}^{L}\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}|{\boldsymbol{z}}^{(l)})-D_{\mathrm{KL}}(q_{\boldsymbol{\phi}}({\boldsymbol{z}}|{\boldsymbol{x}})\;\|\;p({\boldsymbol{z}}))\]原式 23–29 · Markovian HVAE：层级生成、encoder 分解与 ELBO
原式 (23)
\[\displaystyle p({\boldsymbol{x}},{\boldsymbol{z}}_{1:T})\displaystyle=p({\boldsymbol{z}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}|{\boldsymbol{z}}_{1})\prod_{t=2}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{z}}_{t-1}|{\boldsymbol{z}}_{t})\]原式 (24)
\[\displaystyle q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})\displaystyle=q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1}|{\boldsymbol{x}})\prod_{t=2}^{T}q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{t}|{\boldsymbol{z}}_{t-1})\]原式 (25)
\[\displaystyle\log p({\boldsymbol{x}})\displaystyle=\log\int p({\boldsymbol{x}},{\boldsymbol{z}}_{1:T})d{\boldsymbol{z}}_{1:T}\]原式 (26)
\[\displaystyle=\log\int\frac{p({\boldsymbol{x}},{\boldsymbol{z}}_{1:T})q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}d{\boldsymbol{z}}_{1:T}\]原式 (27)
\[\displaystyle=\log\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}\left[\frac{p({\boldsymbol{x}},{\boldsymbol{z}}_{1:T})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}\right]\]原式 (28)
\[\displaystyle\geq\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}}_{1:T})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}\right]\]原式 (29)
\[\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{x}},{\boldsymbol{z}}_{1:T})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}\right]\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1:T}|{\boldsymbol{x}})}\left[\log\frac{p({\boldsymbol{z}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}|{\boldsymbol{z}}_{1})\prod_{t=2}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{z}}_{t-1}|{\boldsymbol{z}}_{t})}{q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{1}|{\boldsymbol{x}})\prod_{t=2}^{T}q_{\boldsymbol{\phi}}({\boldsymbol{z}}_{t}|{\boldsymbol{z}}_{t-1})}\right]\]原式 30–33 · VDM 的正向高斯链及反向生成模型
原式 (30)
\[\displaystyle q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})=\prod_{t=1}^{T}q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})\]原式 (31)
\[\displaystyle q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})=\mathcal{N}({\boldsymbol{x}}_{t};\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t-1},(1-\alpha_{t})\mathbf{I})\]原式 (32)
\[\displaystyle p({\boldsymbol{x}}_{0:T})\displaystyle=p({\boldsymbol{x}}_{T})\prod_{t=1}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})\]原式 (33)
\[\displaystyle p({\boldsymbol{x}}_{T})\displaystyle=\mathcal{N}({\boldsymbol{x}}_{T};\boldsymbol{0},\mathbf{I})\]原式 34–45 · 第一条展开；式 44→45 的条件分布问题见正文独立审查
原式 (34)
\[\displaystyle\log p({\boldsymbol{x}})\displaystyle={ {\displaystyle\log\int p({\boldsymbol{x}}_{0:T})d{\boldsymbol{x}}_{1:T}}}\]原式 (35)
\[\displaystyle={ {\displaystyle\log\int\frac{p({\boldsymbol{x}}_{0:T})q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}d{\boldsymbol{x}}_{1:T}}}\]原式 (36)
\[\displaystyle={ {\displaystyle\log\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\frac{p({\boldsymbol{x}}_{0:T})}{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\right]}}\]原式 (37)
\[\displaystyle\geq{ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{0:T})}{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\right]}}\]原式 (38)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})\prod_{t=1}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{\prod_{t=1}^{T}q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (39)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\prod_{t=2}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{T-1})\prod_{t=1}^{T-1}q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (40)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\prod_{t=1}^{T-1}p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t+1})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{T-1})\prod_{t=1}^{T-1}q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (41)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{T-1})}\right]+\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\prod_{t=1}^{T-1}\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t+1})}{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (42)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\right]+\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{T-1})}\right]+\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\sum_{t=1}^{T-1}\log\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t+1})}{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (43)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\right]+\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{T-1})}\right]+\sum_{t=1}^{T-1}\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t+1})}{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (44)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\right]+\mathbb{E}_{q({\boldsymbol{x}}_{T-1},{\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{T-1})}\right]+\sum_{t=1}^{T-1}\mathbb{E}_{q({\boldsymbol{x}}_{t-1},{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{t+1}|{\boldsymbol{x}}_{0})}\left[\log\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t+1})}{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (45)
\[\displaystyle=\begin{aligned} { {\displaystyle\underbrace{\mathbb{E}_{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}\left[\log p_{\theta}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\right]}_{\text{reconstruction term}}}}&-{ {\displaystyle\underbrace{\mathbb{E}_{q({\boldsymbol{x}}_{T-1}|{\boldsymbol{x}}_{0})}\left[D_{\mathrm{KL}}(q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{T-1})\;\|\;p({\boldsymbol{x}}_{T}))\right]}_{\text{prior matching term}}}}\\ &-{ {\displaystyle\sum_{t=1}^{T-1}\underbrace{\mathbb{E}_{q({\boldsymbol{x}}_{t-1},{\boldsymbol{x}}_{t+1}|{\boldsymbol{x}}_{0})}\left[D_{\mathrm{KL}}(q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})\;\|\;p_{\theta}({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t+1}))\right]}_{\text{consistency term}}}}\end{aligned}\]原式 46–58 · Bayes 改写、望远镜消去与标准去噪 matching ELBO
原式 (46)
\[\displaystyle q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1},{\boldsymbol{x}}_{0})=\frac{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{0})}{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{0})}\]原式 (47)
\[\displaystyle\log p({\boldsymbol{x}})\displaystyle\geq{ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{0:T})}{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\right]}}\]原式 (48)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})\prod_{t=1}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{\prod_{t=1}^{T}q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (49)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\prod_{t=2}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})\prod_{t=2}^{T}q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1})}\right]}}\]原式 (50)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\prod_{t=2}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})\prod_{t=2}^{T}q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1},{\boldsymbol{x}}_{0})}\right]}}\]原式 (51)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})}{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}+\log\prod_{t=2}^{T}\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1},{\boldsymbol{x}}_{0})}\right]}}\]原式 (52)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})}{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}+\log\prod_{t=2}^{T}\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{\frac{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{0})}{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{0})}}\right]}}\]原式 (53)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})}{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}+\log\prod_{t=2}^{T}\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{\frac{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0}){q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{0})}}{ {q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{0})}}}\right]}}\]原式 (54)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})}{ {q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}}+\log\frac{ {q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{0})}+\log\prod_{t=2}^{T}\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})}\right]}}\]原式 (55)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{0})}+\sum_{t=2}^{T}\log\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})}\right]}}\]原式 (56)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\right]+\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{0})}\right]+\sum_{t=2}^{T}\mathbb{E}_{q({\boldsymbol{x}}_{1:T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})}\right]}}\]原式 (57)
\[\displaystyle={ {\displaystyle\mathbb{E}_{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\right]+\mathbb{E}_{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{0})}\left[\log\frac{p({\boldsymbol{x}}_{T})}{q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{0})}\right]+\sum_{t=2}^{T}\mathbb{E}_{q({\boldsymbol{x}}_{t},{\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{0})}\left[\log\frac{p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t})}{q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})}\right]}}\]原式 (58)
\[\displaystyle={ {\displaystyle\underbrace{\mathbb{E}_{q({\boldsymbol{x}}_{1}|{\boldsymbol{x}}_{0})}\left[\log p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{0}|{\boldsymbol{x}}_{1})\right]}_{\text{reconstruction term}}-\underbrace{D_{\mathrm{KL}}(q({\boldsymbol{x}}_{T}|{\boldsymbol{x}}_{0})\;\|\;p({\boldsymbol{x}}_{T}))}_{\text{prior matching term}}-\sum_{t=2}^{T}\underbrace{\mathbb{E}_{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{0})}\left[D_{\mathrm{KL}}(q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})\;\|\;p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t}))\right]}_{\text{denoising matching term}}}}\]原式 59–70 · 重参数化与累计噪声的闭式边缘
原式 (59)
\[\displaystyle{\boldsymbol{x}}_{t}=\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t-1}+\sqrt{1-\alpha_{t}}\boldsymbol{\epsilon}\quad\text{with }\boldsymbol{\epsilon}\sim\mathcal{N}(\boldsymbol{\epsilon};\boldsymbol{0},\mathbf{I})\]原式 (60)
\[\displaystyle{\boldsymbol{x}}_{t-1}=\sqrt{\alpha_{t-1}}{\boldsymbol{x}}_{t-2}+\sqrt{1-\alpha_{t-1}}\boldsymbol{\epsilon}\quad\text{with }\boldsymbol{\epsilon}\sim\mathcal{N}(\boldsymbol{\epsilon};\boldsymbol{0},\mathbf{I})\]原式 (61)
\[\displaystyle{\boldsymbol{x}}_{t}\displaystyle=\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t-1}+\sqrt{1-\alpha_{t}}\boldsymbol{\epsilon}_{t-1}^{*}\]原式 (62)
\[\displaystyle=\sqrt{\alpha_{t}}\left(\sqrt{\alpha_{t-1}}{\boldsymbol{x}}_{t-2}+\sqrt{1-\alpha_{t-1}}\boldsymbol{\epsilon}_{t-2}^{*}\right)+\sqrt{1-\alpha_{t}}\boldsymbol{\epsilon}_{t-1}^{*}\]原式 (63)
\[\displaystyle=\sqrt{\alpha_{t}\alpha_{t-1}}{\boldsymbol{x}}_{t-2}+\sqrt{\alpha_{t}-\alpha_{t}\alpha_{t-1}}\boldsymbol{\epsilon}_{t-2}^{*}+\sqrt{1-\alpha_{t}}\boldsymbol{\epsilon}_{t-1}^{*}\]原式 (64)
\[\displaystyle=\sqrt{\alpha_{t}\alpha_{t-1}}{\boldsymbol{x}}_{t-2}+\sqrt{\sqrt{\alpha_{t}-\alpha_{t}\alpha_{t-1}}^{2}+\sqrt{1-\alpha_{t}}^{2}}\boldsymbol{\epsilon}_{t-2}\]原式 (65)
\[\displaystyle=\sqrt{\alpha_{t}\alpha_{t-1}}{\boldsymbol{x}}_{t-2}+\sqrt{\alpha_{t}-\alpha_{t}\alpha_{t-1}+1-\alpha_{t}}\boldsymbol{\epsilon}_{t-2}\]原式 (66)
\[\displaystyle=\sqrt{\alpha_{t}\alpha_{t-1}}{\boldsymbol{x}}_{t-2}+\sqrt{1-\alpha_{t}\alpha_{t-1}}\boldsymbol{\epsilon}_{t-2}\]原式 (67)
\[\displaystyle=\ldots\]原式 (68)
\[\displaystyle=\sqrt{\prod_{i=1}^{t}\alpha_{i}}{\boldsymbol{x}}_{0}+\sqrt{1-\prod_{i=1}^{t}\alpha_{i}}\boldsymbol{\boldsymbol{\epsilon}}_{0}\]原式 (69)
\[\displaystyle=\sqrt{\bar{\alpha}_{t}}{\boldsymbol{x}}_{0}+\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\boldsymbol{\epsilon}}_{0}\]原式 (70)
\[\displaystyle\sim\mathcal{N}({\boldsymbol{x}}_{t};\sqrt{\bar{\alpha}_{t}}{\boldsymbol{x}}_{0},\left(1-\bar{\alpha}_{t}\right)\mathbf{I})\]原式 71–85 · 高斯指数展开、配方及解析 posterior
原式 (71)
\[\displaystyle q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})\displaystyle={ {\displaystyle\frac{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{t-1},{\boldsymbol{x}}_{0})q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{0})}{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{0})}}}\]原式 (72)
\[\displaystyle={ {\displaystyle\frac{\mathcal{N}({\boldsymbol{x}}_{t};\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t-1},(1-\alpha_{t})\mathbf{I})\mathcal{N}({\boldsymbol{x}}_{t-1};\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0},(1-\bar{\alpha}_{t-1})\mathbf{I})}{\mathcal{N}({\boldsymbol{x}}_{t};\sqrt{\bar{\alpha}_{t}}{\boldsymbol{x}}_{0},(1-\bar{\alpha}_{t})\mathbf{I})}}}\]原式 (73)
\[\displaystyle\propto{ {\displaystyle\text{exp}\left\{-\left[\frac{({\boldsymbol{x}}_{t}-\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t-1})^{2}}{2(1-\alpha_{t})}+\frac{({\boldsymbol{x}}_{t-1}-\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0})^{2}}{2(1-\bar{\alpha}_{t-1})}-\frac{({\boldsymbol{x}}_{t}-\sqrt{\bar{\alpha}_{t}}{\boldsymbol{x}}_{0})^{2}}{2(1-\bar{\alpha}_{t})}\right]\right\}}}\]原式 (74)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left[\frac{({\boldsymbol{x}}_{t}-\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t-1})^{2}}{1-\alpha_{t}}+\frac{({\boldsymbol{x}}_{t-1}-\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0})^{2}}{1-\bar{\alpha}_{t-1}}-\frac{({\boldsymbol{x}}_{t}-\sqrt{\bar{\alpha}_{t}}{\boldsymbol{x}}_{0})^{2}}{1-\bar{\alpha}_{t}}\right]\right\}}}\]原式 (75)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left[\frac{(-2\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t}{\boldsymbol{x}}_{t-1}+\alpha_{t}{\boldsymbol{x}}_{t-1}^{2})}{1-\alpha_{t}}+\frac{({\boldsymbol{x}}_{t-1}^{2}-2\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{t-1}{\boldsymbol{x}}_{0})}{1-\bar{\alpha}_{t-1}}+C({\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})\right]\right\}}}\]原式 (76)
\[\displaystyle\propto{ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left[-\frac{2\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t}{\boldsymbol{x}}_{t-1}}{1-\alpha_{t}}+\frac{\alpha_{t}{\boldsymbol{x}}_{t-1}^{2}}{1-\alpha_{t}}+\frac{ {\boldsymbol{x}}_{t-1}^{2}}{1-\bar{\alpha}_{t-1}}-\frac{2\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{t-1}{\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t-1}}\right]\right\}}}\]原式 (77)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left[(\frac{\alpha_{t}}{1-\alpha_{t}}+\frac{1}{1-\bar{\alpha}_{t-1}}){\boldsymbol{x}}_{t-1}^{2}-2\left(\frac{\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t}}{1-\alpha_{t}}+\frac{\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t-1}}\right){\boldsymbol{x}}_{t-1}\right]\right\}}}\]原式 (78)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left[\frac{\alpha_{t}(1-\bar{\alpha}_{t-1})+1-\alpha_{t}}{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}{\boldsymbol{x}}_{t-1}^{2}-2\left(\frac{\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t}}{1-\alpha_{t}}+\frac{\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t-1}}\right){\boldsymbol{x}}_{t-1}\right]\right\}}}\]原式 (79)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left[\frac{\alpha_{t}-\bar{\alpha}_{t}+1-\alpha_{t}}{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}{\boldsymbol{x}}_{t-1}^{2}-2\left(\frac{\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t}}{1-\alpha_{t}}+\frac{\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t-1}}\right){\boldsymbol{x}}_{t-1}\right]\right\}}}\]原式 (80)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left[\frac{1-\bar{\alpha}_{t}}{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}{\boldsymbol{x}}_{t-1}^{2}-2\left(\frac{\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t}}{1-\alpha_{t}}+\frac{\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t-1}}\right){\boldsymbol{x}}_{t-1}\right]\right\}}}\]原式 (81)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left(\frac{1-\bar{\alpha}_{t}}{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}\right)\left[{\boldsymbol{x}}_{t-1}^{2}-2\frac{\left(\frac{\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t}}{1-\alpha_{t}}+\frac{\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t-1}}\right)}{\frac{1-\bar{\alpha}_{t}}{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}}{\boldsymbol{x}}_{t-1}\right]\right\}}}\]原式 (82)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left(\frac{1-\bar{\alpha}_{t}}{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}\right)\left[{\boldsymbol{x}}_{t-1}^{2}-2\frac{\left(\frac{\sqrt{\alpha_{t}}{\boldsymbol{x}}_{t}}{1-\alpha_{t}}+\frac{\sqrt{\bar{\alpha}_{t-1}}{\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t-1}}\right)(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_{t}}{\boldsymbol{x}}_{t-1}\right]\right\}}}\]原式 (83)
\[\displaystyle={ {\displaystyle\text{exp}\left\{-\frac{1}{2}\left(\frac{1}{\frac{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_{t}}}\right)\left[{\boldsymbol{x}}_{t-1}^{2}-2\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t}){\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t}}{\boldsymbol{x}}_{t-1}\right]\right\}}}\]原式 (84)
\[\displaystyle\propto{ {\displaystyle\mathcal{N}({\boldsymbol{x}}_{t-1};}}\underbrace{ { {\displaystyle\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t}){\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t}}}}}_{\mu_{q}({\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})},\underbrace{ { {\displaystyle\frac{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_{t}}\mathbf{I}}}}_{\boldsymbol{\Sigma}_{q}(t)})\]原式 (85)
\[\displaystyle\sigma_{q}^{2}(t)=\frac{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_{t}}\]原式 86–100 · 同协方差高斯 KL 化为均值/干净图加权 MSE
原式 (86)
\[\displaystyle D_{\mathrm{KL}}(\mathcal{N}({\boldsymbol{x}};\boldsymbol{\mu}_{x},\boldsymbol{\Sigma}_{x})\;\|\;\mathcal{N}({\boldsymbol{y}};\boldsymbol{\mu}_{y},\boldsymbol{\Sigma}_{y}))\displaystyle=\frac{1}{2}\left[\log\frac{|\boldsymbol{\Sigma}_{y}|}{|\boldsymbol{\Sigma}_{x}|}-d+\text{tr}(\boldsymbol{\Sigma}_{y}^{-1}\boldsymbol{\Sigma}_{x})+(\boldsymbol{\mu}_{y}-\boldsymbol{\mu}_{x})^{T}\boldsymbol{\Sigma}_{y}^{-1}(\boldsymbol{\mu}_{y}-\boldsymbol{\mu}_{x})\right]\]原式 (87)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}D_{\mathrm{KL}}(\mathcal{N}({\boldsymbol{x}}_{t-1};\boldsymbol{\mu}_{q},\boldsymbol{\Sigma}_{q}(t))\;\|\;\mathcal{N}({\boldsymbol{x}}_{t-1};\boldsymbol{\mu}_{\boldsymbol{\theta}},\boldsymbol{\Sigma}_{q}(t)))\]原式 (88)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2}\left[\log\frac{|\boldsymbol{\Sigma}_{q}(t)|}{|\boldsymbol{\Sigma}_{q}(t)|}-d+\text{tr}(\boldsymbol{\Sigma}_{q}(t)^{-1}\boldsymbol{\Sigma}_{q}(t))+(\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q})^{T}\boldsymbol{\Sigma}_{q}(t)^{-1}(\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q})\right]\]原式 (89)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2}\left[\log 1-d+d+(\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q})^{T}\boldsymbol{\Sigma}_{q}(t)^{-1}(\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q})\right]\]原式 (90)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2}\left[(\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q})^{T}\boldsymbol{\Sigma}_{q}(t)^{-1}(\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q})\right]\]原式 (91)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2}\left[(\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q})^{T}\left(\sigma_{q}^{2}(t)\mathbf{I}\right)^{-1}(\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q})\right]\]原式 (92)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\boldsymbol{\mu}_{\boldsymbol{\theta}}-\boldsymbol{\mu}_{q}\right\rVert_{2}^{2}\right]\]原式 (93)
\[\displaystyle\boldsymbol{\mu}_{q}({\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t}){\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t}}\]原式 (94)
\[\displaystyle\boldsymbol{\mu}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t})\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)}{1-\bar{\alpha}_{t}}\]原式 (95)
\[\displaystyle={ {\displaystyle\operatorname*{arg\,min}_{\boldsymbol{\theta}}D_{\mathrm{KL}}(\mathcal{N}\left({\boldsymbol{x}}_{t-1};\boldsymbol{\mu}_{q},\boldsymbol{\Sigma}_{q}\left(t\right)\right)\;\|\;\mathcal{N}\left({\boldsymbol{x}}_{t-1};\boldsymbol{\mu}_{\boldsymbol{\theta}},\boldsymbol{\Sigma}_{q}\left(t\right)\right))}}\]原式 (96)
\[\displaystyle={ {\displaystyle\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t})\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)}{1-\bar{\alpha}_{t}}-\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t}){\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t}}\right\rVert_{2}^{2}\right]}}\]原式 (97)
\[\displaystyle={ {\displaystyle\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t})\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)}{1-\bar{\alpha}_{t}}-\frac{\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t}){\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t}}\right\rVert_{2}^{2}\right]}}\]原式 (98)
\[\displaystyle={ {\displaystyle\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t})}{1-\bar{\alpha}_{t}}\left(\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right)\right\rVert_{2}^{2}\right]}}\]原式 (99)
\[\displaystyle={ {\displaystyle\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\frac{\bar{\alpha}_{t-1}(1-\alpha_{t})^{2}}{(1-\bar{\alpha}_{t})^{2}}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (100)
\[\displaystyle\operatorname*{arg\,min}_{\boldsymbol{\theta}}\mathbb{E}_{t\sim U\{2,T\}}\left[\mathbb{E}_{q({\boldsymbol{x}}_{t}|{\boldsymbol{x}}_{0})}\left[D_{\mathrm{KL}}(q({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})\;\|\;p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t}))\right]\right]\]原式 101–114 · SNR 权重与单调噪声日程
原式 (101)
\[\displaystyle\frac{1}{2\sigma_{q}^{2}(t)}\frac{\bar{\alpha}_{t-1}(1-\alpha_{t})^{2}}{(1-\bar{\alpha}_{t})^{2}}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]\displaystyle={ {\displaystyle\frac{1}{2\frac{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_{t}}}\frac{\bar{\alpha}_{t-1}(1-\alpha_{t})^{2}}{(1-\bar{\alpha}_{t})^{2}}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (102)
\[\displaystyle={ {\displaystyle\frac{1}{2}\frac{1-\bar{\alpha}_{t}}{(1-\alpha_{t})(1-\bar{\alpha}_{t-1})}\frac{\bar{\alpha}_{t-1}(1-\alpha_{t})^{2}}{(1-\bar{\alpha}_{t})^{2}}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (103)
\[\displaystyle={ {\displaystyle\frac{1}{2}\frac{\bar{\alpha}_{t-1}(1-\alpha_{t})}{(1-\bar{\alpha}_{t-1})(1-\bar{\alpha}_{t})}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (104)
\[\displaystyle={ {\displaystyle\frac{1}{2}\frac{\bar{\alpha}_{t-1}-\bar{\alpha}_{t}}{(1-\bar{\alpha}_{t-1})(1-\bar{\alpha}_{t})}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (105)
\[\displaystyle={ {\displaystyle\frac{1}{2}\frac{\bar{\alpha}_{t-1}-\bar{\alpha}_{t-1}\bar{\alpha}_{t}+\bar{\alpha}_{t-1}\bar{\alpha}_{t}-\bar{\alpha}_{t}}{(1-\bar{\alpha}_{t-1})(1-\bar{\alpha}_{t})}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (106)
\[\displaystyle={ {\displaystyle\frac{1}{2}\frac{\bar{\alpha}_{t-1}(1-\bar{\alpha}_{t})-\bar{\alpha}_{t}(1-\bar{\alpha}_{t-1})}{(1-\bar{\alpha}_{t-1})(1-\bar{\alpha}_{t})}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (107)
\[\displaystyle={ {\displaystyle\frac{1}{2}\left(\frac{\bar{\alpha}_{t-1}(1-\bar{\alpha}_{t})}{(1-\bar{\alpha}_{t-1})(1-\bar{\alpha}_{t})}-\frac{\bar{\alpha}_{t}(1-\bar{\alpha}_{t-1})}{(1-\bar{\alpha}_{t-1})(1-\bar{\alpha}_{t})}\right)\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (108)
\[\displaystyle={ {\displaystyle\frac{1}{2}\left(\frac{\bar{\alpha}_{t-1}}{1-\bar{\alpha}_{t-1}}-\frac{\bar{\alpha}_{t}}{1-\bar{\alpha}_{t}}\right)\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]}}\]原式 (109)
\[\displaystyle\text{SNR}(t)\displaystyle=\frac{\bar{\alpha}_{t}}{1-\bar{\alpha}_{t}}\]原式 (110)
\[\displaystyle\frac{1}{2\sigma_{q}^{2}(t)}\frac{\bar{\alpha}_{t-1}(1-\alpha_{t})^{2}}{(1-\bar{\alpha}_{t})^{2}}\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]\displaystyle=\frac{1}{2}\left(\text{SNR}(t-1)-\text{SNR}(t)\right)\left[\left\lVert\hat{\boldsymbol{x}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-{\boldsymbol{x}}_{0}\right\rVert_{2}^{2}\right]\]原式 (111)
\[\displaystyle\text{SNR}(t)=\text{exp}(-\omega_{\boldsymbol{\eta}}(t))\]原式 (112)
\[\displaystyle\frac{\bar{\alpha}_{t}}{1-\bar{\alpha}_{t}}=\text{exp}(-\omega_{\boldsymbol{\eta}}(t))\]原式 (113)
\[\displaystyle\therefore\bar{\alpha}_{t}=\text{sigmoid}(-\omega_{\boldsymbol{\eta}}(t))\]原式 (114)
\[\displaystyle\therefore 1-\bar{\alpha}_{t}=\text{sigmoid}(\omega_{\boldsymbol{\eta}}(t))\]原式 115–130 · 噪声预测参数化及其时间权重
原式 (115)
\[\displaystyle{\boldsymbol{x}}_{0}\displaystyle=\frac{ {\boldsymbol{x}}_{t}-\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\epsilon}_{0}}{\sqrt{\bar{\alpha}_{t}}}\]原式 (116)
\[\displaystyle\boldsymbol{\mu}_{q}({\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})\displaystyle=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t}){\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t}}\]原式 (117)
\[\displaystyle=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t})\frac{ {\boldsymbol{x}}_{t}-\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\epsilon}_{0}}{\sqrt{\bar{\alpha}_{t}}}}{1-\bar{\alpha}_{t}}\]原式 (118)
\[\displaystyle=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+(1-\alpha_{t})\frac{ {\boldsymbol{x}}_{t}-\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\epsilon}_{0}}{\sqrt{\alpha_{t}}}}{1-\bar{\alpha}_{t}}\]原式 (119)
\[\displaystyle=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}}{1-\bar{\alpha}_{t}}+\frac{(1-\alpha_{t}){\boldsymbol{x}}_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}-\frac{(1-\alpha_{t})\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\epsilon}_{0}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}\]原式 (120)
\[\displaystyle=\left(\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_{t}}+\frac{1-\alpha_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}\right){\boldsymbol{x}}_{t}-\frac{(1-\alpha_{t})\sqrt{1-\bar{\alpha}_{t}}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}\boldsymbol{\epsilon}_{0}\]原式 (121)
\[\displaystyle=\left(\frac{\alpha_{t}(1-\bar{\alpha}_{t-1})}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}+\frac{1-\alpha_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}\right){\boldsymbol{x}}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\epsilon}_{0}\]原式 (122)
\[\displaystyle=\frac{\alpha_{t}-\bar{\alpha}_{t}+1-\alpha_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\epsilon}_{0}\]原式 (123)
\[\displaystyle=\frac{1-\bar{\alpha}_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\epsilon}_{0}\]原式 (124)
\[\displaystyle=\frac{1}{\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\epsilon}_{0}\]原式 (125)
\[\displaystyle\boldsymbol{\mu}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)\displaystyle=\frac{1}{\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\hat{\epsilon}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)\]原式 (126)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}D_{\mathrm{KL}}(\mathcal{N}\left({\boldsymbol{x}}_{t-1};\boldsymbol{\mu}_{q},\boldsymbol{\Sigma}_{q}\left(t\right)\right)\;\|\;\mathcal{N}\left({\boldsymbol{x}}_{t-1};\boldsymbol{\mu}_{\boldsymbol{\theta}},\boldsymbol{\Sigma}_{q}\left(t\right)\right))\]原式 (127)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{1}{\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\hat{\epsilon}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-\frac{1}{\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}+\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\epsilon}_{0}\right\rVert_{2}^{2}\right]\]原式 (128)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\epsilon}_{0}-\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}\boldsymbol{\hat{\epsilon}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)\right\rVert_{2}^{2}\right]\]原式 (129)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{1-\alpha_{t}}{\sqrt{1-\bar{\alpha}_{t}}\sqrt{\alpha_{t}}}(\boldsymbol{\epsilon}_{0}-\boldsymbol{\hat{\epsilon}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t))\right\rVert_{2}^{2}\right]\]原式 (130)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\frac{(1-\alpha_{t})^{2}}{(1-\bar{\alpha}_{t})\alpha_{t}}\left[\left\lVert\boldsymbol{\epsilon}_{0}-\boldsymbol{\hat{\epsilon}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)\right\rVert_{2}^{2}\right]\]原式 131–151 · Tweedie 与 score：样本、条件期望、边缘 score 的区别见正文
原式 (131)
\[\displaystyle\mathbb{E}\left[\boldsymbol{\mu}_{x_{t}}|{\boldsymbol{x}}_{t}\right]={\boldsymbol{x}}_{t}+(1-\bar{\alpha}_{t})\nabla_{ {\boldsymbol{x}}_{t}}\log p({\boldsymbol{x}}_{t})\]原式 (132)
\[\displaystyle\sqrt{\bar{\alpha}_{t}}{\boldsymbol{x}}_{0}={\boldsymbol{x}}_{t}+(1-\bar{\alpha}_{t})\nabla\log p({\boldsymbol{x}}_{t})\]原式 (133)
\[\displaystyle\therefore{\boldsymbol{x}}_{0}=\frac{ {\boldsymbol{x}}_{t}+(1-\bar{\alpha}_{t})\nabla\log p({\boldsymbol{x}}_{t})}{\sqrt{\bar{\alpha}_{t}}}\]原式 (134)
\[\displaystyle\boldsymbol{\mu}_{q}({\boldsymbol{x}}_{t},{\boldsymbol{x}}_{0})\displaystyle=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t}){\boldsymbol{x}}_{0}}{1-\bar{\alpha}_{t}}\]原式 (135)
\[\displaystyle=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+\sqrt{\bar{\alpha}_{t-1}}(1-\alpha_{t})\frac{ {\boldsymbol{x}}_{t}+(1-\bar{\alpha}_{t})\nabla\log p({\boldsymbol{x}}_{t})}{\sqrt{\bar{\alpha}_{t}}}}{1-\bar{\alpha}_{t}}\]原式 (136)
\[\displaystyle=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}+(1-\alpha_{t})\frac{ {\boldsymbol{x}}_{t}+(1-\bar{\alpha}_{t})\nabla\log p({\boldsymbol{x}}_{t})}{\sqrt{\alpha_{t}}}}{1-\bar{\alpha}_{t}}\]原式 (137)
\[\displaystyle=\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1}){\boldsymbol{x}}_{t}}{1-\bar{\alpha}_{t}}+\frac{(1-\alpha_{t}){\boldsymbol{x}}_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}+\frac{(1-\alpha_{t})(1-\bar{\alpha}_{t})\nabla\log p({\boldsymbol{x}}_{t})}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}\]原式 (138)
\[\displaystyle=\left(\frac{\sqrt{\alpha_{t}}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_{t}}+\frac{1-\alpha_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}\right){\boldsymbol{x}}_{t}+\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}\nabla\log p({\boldsymbol{x}}_{t})\]原式 (139)
\[\displaystyle=\left(\frac{\alpha_{t}(1-\bar{\alpha}_{t-1})}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}+\frac{1-\alpha_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}\right){\boldsymbol{x}}_{t}+\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}\nabla\log p({\boldsymbol{x}}_{t})\]原式 (140)
\[\displaystyle=\frac{\alpha_{t}-\bar{\alpha}_{t}+1-\alpha_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}+\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}\nabla\log p({\boldsymbol{x}}_{t})\]原式 (141)
\[\displaystyle=\frac{1-\bar{\alpha}_{t}}{(1-\bar{\alpha}_{t})\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}+\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}\nabla\log p({\boldsymbol{x}}_{t})\]原式 (142)
\[\displaystyle=\frac{1}{\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}+\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}\nabla\log p({\boldsymbol{x}}_{t})\]原式 (143)
\[\displaystyle\boldsymbol{\mu}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)\displaystyle=\frac{1}{\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}+\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}{\boldsymbol{s}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)\]原式 (144)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}D_{\mathrm{KL}}(\mathcal{N}\left({\boldsymbol{x}}_{t-1};\boldsymbol{\mu}_{q},\boldsymbol{\Sigma}_{q}\left(t\right)\right)\;\|\;\mathcal{N}\left({\boldsymbol{x}}_{t-1};\boldsymbol{\mu}_{\boldsymbol{\theta}},\boldsymbol{\Sigma}_{q}\left(t\right)\right))\]原式 (145)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{1}{\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}+\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}{\boldsymbol{s}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-\frac{1}{\sqrt{\alpha_{t}}}{\boldsymbol{x}}_{t}-\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}\nabla\log p({\boldsymbol{x}}_{t})\right\rVert_{2}^{2}\right]\]原式 (146)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}{\boldsymbol{s}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}\nabla\log p({\boldsymbol{x}}_{t})\right\rVert_{2}^{2}\right]\]原式 (147)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\left[\left\lVert\frac{1-\alpha_{t}}{\sqrt{\alpha_{t}}}({\boldsymbol{s}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-\nabla\log p({\boldsymbol{x}}_{t}))\right\rVert_{2}^{2}\right]\]原式 (148)
\[\displaystyle=\operatorname*{arg\,min}_{\boldsymbol{\theta}}\frac{1}{2\sigma_{q}^{2}(t)}\frac{(1-\alpha_{t})^{2}}{\alpha_{t}}\left[\left\lVert{\boldsymbol{s}}_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t},t)-\nabla\log p({\boldsymbol{x}}_{t})\right\rVert_{2}^{2}\right]\]原式 (149)
\[\displaystyle{\boldsymbol{x}}_{0}=\frac{ {\boldsymbol{x}}_{t}+(1-\bar{\alpha}_{t})\nabla\log p({\boldsymbol{x}}_{t})}{\sqrt{\bar{\alpha}_{t}}}\displaystyle=\frac{ {\boldsymbol{x}}_{t}-\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\epsilon}_{0}}{\sqrt{\bar{\alpha}_{t}}}\]原式 (150)
\[\displaystyle\therefore(1-\bar{\alpha}_{t})\nabla\log p({\boldsymbol{x}}_{t})\displaystyle=-\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\epsilon}_{0}\]原式 (151)
\[\displaystyle\nabla\log p({\boldsymbol{x}}_{t})\displaystyle=-\frac{1}{\sqrt{1-\bar{\alpha}_{t}}}\boldsymbol{\epsilon}_{0}\]原式 152–158 · 能量梯度、Fisher divergence 与 Langevin
原式 (152)
\[\displaystyle p_{\boldsymbol{\theta}}({\boldsymbol{x}})=\frac{1}{Z_{\boldsymbol{\theta}}}e^{-f_{\boldsymbol{\theta}}({\boldsymbol{x}})}\]原式 (153)
\[\displaystyle\nabla_{\boldsymbol{x}}\log p_{\boldsymbol{\theta}}({\boldsymbol{x}})\displaystyle=\nabla_{\boldsymbol{x}}\log(\frac{1}{Z_{\boldsymbol{\theta}}}e^{-f_{\boldsymbol{\theta}}({\boldsymbol{x}})})\]原式 (154)
\[\displaystyle=\nabla_{\boldsymbol{x}}\log\frac{1}{Z_{\boldsymbol{\theta}}}+\nabla_{\boldsymbol{x}}\log e^{-f_{\boldsymbol{\theta}}({\boldsymbol{x}})}\]原式 (155)
\[\displaystyle=-\nabla_{\boldsymbol{x}}f_{\boldsymbol{\theta}}({\boldsymbol{x}})\]原式 (156)
\[\displaystyle\approx{\boldsymbol{s}}_{\boldsymbol{\theta}}({\boldsymbol{x}})\]原式 (157)
\[\displaystyle\mathbb{E}_{p({\boldsymbol{x}})}\left[\left\lVert{\boldsymbol{s}}_{\boldsymbol{\theta}}({\boldsymbol{x}})-\nabla\log p({\boldsymbol{x}})\right\rVert_{2}^{2}\right]\]原式 (158)
\[\displaystyle{\boldsymbol{x}}_{i+1}\leftarrow{\boldsymbol{x}}_{i}+c\nabla\log p({\boldsymbol{x}}_{i})+\sqrt{2c}\boldsymbol{\epsilon},\quad i=0,1,...,K\]原式 159–161 · 混合分布问题与多尺度 score matching
原式 (159)
\[\displaystyle p({\boldsymbol{x}})=c_{1}p_{1}({\boldsymbol{x}})+c_{2}p_{2}({\boldsymbol{x}})\]原式 (160)
\[\displaystyle p_{\sigma_{t}}({\boldsymbol{x}}_{t})=\int p({\boldsymbol{x}})\mathcal{N}({\boldsymbol{x}}_{t};{\boldsymbol{x}},\sigma_{t}^{2}\mathbf{I})d{\boldsymbol{x}}\]原式 (161)
\[\displaystyle\operatorname*{arg\,min}_{\boldsymbol{\theta}}\sum_{t=1}^{T}\lambda(t)\mathbb{E}_{p_{\sigma_{t}}({\boldsymbol{x}}_{t})}\left[\left\lVert{\boldsymbol{s}}_{\boldsymbol{\theta}}({\boldsymbol{x}},t)-\nabla\log p_{\sigma_{t}}({\boldsymbol{x}}_{t})\right\rVert_{2}^{2}\right]\]原式 162–166 · 条件模型与分类器引导；非单位强度为 guided score
原式 (162)
\[\displaystyle p({\boldsymbol{x}}_{0:T}|y)=p({\boldsymbol{x}}_{T})\prod_{t=1}^{T}p_{\boldsymbol{\theta}}({\boldsymbol{x}}_{t-1}|{\boldsymbol{x}}_{t},y)\]原式 (163)
\[\displaystyle\nabla\log p({\boldsymbol{x}}_{t}|y)\displaystyle=\nabla\log\left(\frac{p({\boldsymbol{x}}_{t})p(y|{\boldsymbol{x}}_{t})}{p(y)}\right)\]原式 (164)
\[\displaystyle=\nabla\log p({\boldsymbol{x}}_{t})+\nabla\log p(y|{\boldsymbol{x}}_{t})-\nabla\log p(y)\]原式 (165)
\[\displaystyle=\underbrace{\nabla\log p({\boldsymbol{x}}_{t})}_{\text{unconditional score}}+\underbrace{\nabla\log p(y|{\boldsymbol{x}}_{t})}_{\text{adversarial gradient}}\]原式 (166)
\[\displaystyle\nabla\log p({\boldsymbol{x}}_{t}|y)\displaystyle=\nabla\log p({\boldsymbol{x}}_{t})+\gamma\nabla\log p(y|{\boldsymbol{x}}_{t})\]原式 167–170 · Classifier-free guidance；条件分支减无条件分支
原式 (167)
\[\displaystyle\nabla\log p(y|{\boldsymbol{x}}_{t})=\nabla\log p({\boldsymbol{x}}_{t}|y)-\nabla\log p({\boldsymbol{x}}_{t})\]原式 (168)
\[\displaystyle\nabla\log p({\boldsymbol{x}}_{t}|y)\displaystyle=\nabla\log p({\boldsymbol{x}}_{t})+\gamma\left(\nabla\log p({\boldsymbol{x}}_{t}|y)-\nabla\log p({\boldsymbol{x}}_{t})\right)\]原式 (169)
\[\displaystyle=\nabla\log p({\boldsymbol{x}}_{t})+\gamma\nabla\log p({\boldsymbol{x}}_{t}|y)-\gamma\nabla\log p({\boldsymbol{x}}_{t})\]原式 (170)
\[\displaystyle=\underbrace{\gamma\nabla\log p({\boldsymbol{x}}_{t}|y)}_{\text{conditional score}}+\underbrace{(1-\gamma)\nabla\log p({\boldsymbol{x}}_{t})}_{\text{unconditional score}}\]13 · 来源与交付边界
- 固定 23 页 PDF：完整正文、170 个编号推导行、6 幅原图与参考文献
- 官方生成 HTML：图像与公式交叉核对，页面动态日期不替代 PDF 年代
- arXiv 元数据：标题、作者及固定版本
无需重建原实验表，因为这篇没有实验表。本文自制的符号表仅用于教学，不标成作者数据。Calvin Luo 为唯一作者；未查到明确通讯标记，按仓库规则仅作为末位候选，不能因有邮箱自动认定已验证通讯作者。
原笔记保留为逐字前缀，精读仅追加。未运行任何论文训练代码/模型，未进行浏览器验收、部署或实际仓库归档。数学审查与反例是本解读独立工作；实际 MathJax 渲染和响应式验收留待获准后的浏览器流程。