输入与输出
输入为最多 \(K\) 个文本 token、可选的已知 RGB 上下文与 mask、可选低分辨率图像。输出先得到 \(64\times64\) 图像，再由独立扩散 upsampler 生成 \(256\times256\)。
01 · RESEARCH GAP
把自由文本、照片真实度和可编辑性放进同一生成系统
此前的文本到图像模型具备组合能力，照片细节仍弱；无条件扩散模型已经具备较强真实感，却缺少开放文本控制。GLIDE 检验的核心问题是：扩散模型在直接接收文本后，哪一种 guidance 可以稳定交换多样性与忠实度，并保留编辑能力。
研究假设
文本条件扩散模型本身包含比外部 CLIP 更贴合生成分布的知识；同时运行有条件与空文本分支，可以直接在噪声预测空间强化提示词方向。
贡献边界
实验覆盖文本生成、inpainting 与 SDEdit。Figure 1 展现的图案、阴影和纹理属于像素生成结果，论文没有生成 PBR 材质参数、shader graph 或可执行程序图。
Paper Verified人评与 COCO 自动指标共同支持 classifier-free guidance 的质量优势；外部 CLIP 指标偏爱 CLIP guidance 的现象只支持“指标与人类判断失配”。作者将其解释为 CLIP guidance 找到 adversarial examples，这一解释属于假设。
02 · MODEL & MATH
文本既形成全局条件，也进入每一层 attention context
GLIDE 沿用 ADM U-Net。caption 经过 24 层、宽度 2048 的 Transformer；末 token 替代 ADM 的 class embedding，全部 token 的末层表示另行投影并拼接进每个 attention layer 的 context。
前向扩散与反向模型
\[q(x_t\mid x_{t-1})=\mathcal{N}\!\left(x_t;\sqrt{\alpha_t}x_{t-1},(1-\alpha_t)\mathbf{I}\right)\]\[p_{\theta}(x_{t-1}\mid x_t,c)=\mathcal{N}\!\left(\mu_{\theta}(x_t,c),\Sigma_{\theta}(x_t,c)\right)\]\(x_0\) 是干净图像，\(x_t\) 是第 \(t\) 步的噪声图像；\(\alpha_t\) 控制每一步保留的信号。训练学习从 \(x_t\) 回到 \(x_{t-1}\) 的条件高斯分布，方差采用 Improved DDPM 的可学习策略。
噪声预测目标
\[L_{\mathrm{simple}}=\mathbb{E}_{t,x_0,\epsilon}\!\left[\left\lVert\epsilon-\epsilon_{\theta}(x_t,t,c)\right\rVert_2^2\right]\]随机选择时间步、构造噪声样本，再预测实际加入的 \(\epsilon\sim\mathcal{N}(0,\mathbf{I})\)。论文正文没有披露 base model 的 optimizer、learning rate、warmup、weight decay 与硬件数量。
Learned variance 的 hybrid objective
\[L_{\mathrm{hybrid}}=L_{\mathrm{simple}}+\lambda L_{\mathrm{vlb}}\]GLIDE 明确采用 Improved DDPM 的 learned variance 技术。该方法用 \(L_{\mathrm{simple}}\) 学习噪声预测，用变分项 \(L_{\mathrm{vlb}}\) 学习方差；计算 \(L_{\mathrm{vlb}}\) 时对 mean prediction 停止梯度，使方差学习不会扰动 MSE 分支。GLIDE 没有重新披露 \(\lambda\) 等训练细节。公开推理代码以六个输出通道分出 noise / mean 相关输出与 learned-range variance，训练代码未随仓库发布。
Classifier-free guidance
\[\widehat{\epsilon}_{\theta}(x_t\mid c)=\epsilon_{\theta}(x_t\mid\emptyset)+s\left(\epsilon_{\theta}(x_t\mid c)-\epsilon_{\theta}(x_t\mid\emptyset)\right)\]预训练完成后，用 20% 空文本继续 fine-tune。采样时每步运行空文本与 caption 两次预测。\(s=1\) 等于普通条件预测；更大的 \(s\) 沿 caption 相对空文本的方向外推，通常提高忠实度并减少多样性。
Noised CLIP guidance
\[\widehat{\mu}_{\theta}(x_t\mid c)=\mu_{\theta}(x_t\mid c)+s\,\Sigma_{\theta}(x_t\mid c)\nabla_{x_t}\!\left(f(x_t,t)\cdot g(c)\right)\]\(f(x_t,t)\) 是专门在噪声图像上训练的 image encoder，\(g(c)\) 是 text encoder。梯度经过反向过程方差 \(\Sigma_{\theta}\) 缩放后修正均值。噪声预测与 score 的符号取决于参数化约定，因此页面保留可直接执行的均值修正式。
01caption tokenization
02text Transformer
03ADM base 64²
04CFG 或 CLIP guidance
0527-step upsampler
06256² output
| Base visual | ADM 64²，base channels 512，约 2.3B 参数。 |
|---|---|
| Text encoder | 24 residual blocks，width 2048，约 1.2B 参数；全系统 base 合计 3.5B。 |
| Upsampler | 1.5B 参数，text width 1024，base channels 384；低分辨率图像双三次放大后按 channel 拼接。 |
| Noised CLIP | 64² ViT-L，patch 4²；390K iterations，batch 32K，CLIP 与 DALL-E 数据 50/50；weight decay 0.0125，随后在更广互联网数据 fine-tune 30K。 |
03 · EDITING PATHS
三条编辑路径解决不同控制问题
论文同时展示显式 inpainting fine-tune、隐式逐步替换已知区域，以及 SDEdit 式带噪草图起点。它们共享扩散生成器，条件信息和失败模式存在明显差异。
显式 inpainting
随机擦除训练图像区域，向输入增加已知 RGB 三通道与 mask 一通道。四个新增输入权重以零初始化。模型能够直接看见完整清晰上下文，边界与光照更连贯。
隐式 inpainting
普通采样每步完成后，把已知区域替换为 \(q(x_t\mid x_0)\) 的样本。模型只能接触带噪上下文；Appendix E 显示提示词服从性较好，场景接缝可能变差。
SDEdit
先对用户草图或编辑图加到中间噪声强度，再由文本条件反向过程去噪。起始噪声量决定结构保留与重新生成的交换关系。
\[x_t=\sqrt{\bar{\alpha}_t}\,x_0+\sqrt{1-\bar{\alpha}_t}\,\epsilon\]
隐式 inpainting 用这一闭式分布在每个 \(t\) 重建已知区域的正确噪声状态；\(\bar{\alpha}_t=\prod_{r=1}^{t}\alpha_r\)。
Protocol boundaryFigure 11 的 Blended Diffusion 对照为每个设置生成 64 个结果，再由 CLIP 选出最佳样本。该协议只属于这张附录对照；正文 Figure 5 的 GLIDE 样本没有 reranking，Figures 17–18 的 GLIDE 网格也使用 16 个随机样本。
04 · TRAINING & INFERENCE
规模、训练轮数和采样预算必须分开阅读
论文报告 iterations 与 global batch，没有报告训练 GPU 数量或精确 GPU-hours。“总训练计算量约等于 DALL-E”是相对陈述，无法换算成独立复现预算。
训练配置 · 正文与 Appendix B
| 组件 | 分辨率 / 参数 | 训练 | 文本与其他配置 |
|---|---|---|---|
| Main base | 64² · 3.5B | 2.5M iterations · batch 2048 · FP16 | visual 2.3B；text Transformer 1.2B |
| Main upsampler | 64²→256² · 1.5B | 1.6M iterations · batch 512 · FP16 | text width 1024；base channels 384 |
| Noised CLIP final | 64² · ViT-L · patch 4² | 390K · batch 32K；再 fine-tune 30K | 50/50 CLIP 与 DALL-E 数据；weight decay 0.0125 |
| GLIDE filtered base | 300M | 1.1M pretrain + 500K CFG/inpainting | 发布权重使用约 67M filtered pairs |
| Filtered upsampler | base channels 192 | 400K iterations | text width 512 |
论文展示
base 通常 150 steps；inpainting 100 steps。upsampler 使用 27 steps。
自动评测
base 使用 250 steps，作者称可略微改善 FID；upsampler 仍为 27 steps。
27-step schedule
把 1000 步分成五段，分别取 \(10,10,3,2,2\) 个均匀时间点；低噪声 \(t\in(0,200]\) 更密，高噪声 \(t\in(800,1000]\) 只取 2 步。
运行速度
完整研究模型的未优化实现，在单张 A100 上约 15 秒生成一张。该数字不代表公开 300M 模型的运行测量。
Reproducibility boundary正文没有披露 main base 与 upsampler 的 optimizer、learning rate、scheduler、warmup、weight decay、gradient accumulation、训练硬件数量和 wall-clock time。官方仓库当前默认值属于公开 filtered 模型代码，不能填入 3.5B 研究模型缺失字段。
05 · RESULTS
人评支持 CFG，FID 最优点使用更低 guidance scale
评价需要同时保留提示词、采样步数、guidance scale、reranking 和参考集处理。scale 3 是主要人评与展示设置；COCO FID 12.24 使用 scale 1.5。
Table 1 · MS-COCO 256² 人评 Elo
| Guidance | Scale | Photorealism Elo | Caption Elo |
|---|---|---|---|
| Unguided | 1.0 | −88.6 | −106.2 |
| CLIP guidance | 2.0 | −73.2 | 29.3 |
| Classifier-free guidance | 3.0 | 82.7 | 110.9 |
每项照片真实度比较 1,000 组，caption 比较通常 1,000 组；guidance sweep 的 caption 比较为 500 组。tie 向双方各计半胜。
Bradley–Terry / Elo 解释
\[P(i\succ j)=\frac{1}{1+10^{(\sigma_j-\sigma_i)/400}}\]\(\sigma_i\) 越大，模型 \(i\) 的胜率越高。原论文 Appendix A 的目标函数把 \(A_{ij}\) 定义为“\(i\) 胜 \(j\)”后，分母指数写成 (\((\sigma_i-\sigma_j)/400\))，与常用 Bradley–Terry 方向相反；本页采用与 Elo 含义一致的概率表达式，不用该疑似符号错误推导数值。
Table 2 · MS-COCO 256² FID，全部十行
| 模型 | 监督 FID | Zero-shot FID | 说明 |
|---|---|---|---|
| AttnGAN | 35.49 | — | COCO supervised |
| DM-GAN | 32.64 | — | COCO supervised |
| DF-GAN | 21.42 | — | COCO supervised |
| DM-GAN + CL | 20.79 | — | COCO supervised |
| XMC-GAN | 9.33 | — | COCO supervised |
| LAFITE | 8.12 | — | COCO supervised |
| DALL-E | — | ≈28 | zero-shot |
| LAFITE | — | 26.94 | zero-shot |
| GLIDE | — | 12.24 | CFG scale 1.5 |
| GLIDE · validation filtered | — | 12.89 | 移除 21% 相似 reference 后 |
生成 30,000 个 validation captions；reference 使用完整 validation set 并 center-crop。较早文本生成工作常用 squeeze，协议差异会影响横向比较。filtered reference 更小也会改变 FID bias，因此 12.24→12.89 不能单独量化训练泄漏。
Table 3 · GLIDE 相对 DALL-E 的人评胜率，全部六行
| DALL-E 设置 | 温度 | GLIDE 照片真实度胜率 | GLIDE caption 胜率 |
|---|---|---|---|
| 无 reranking | 1.0 | 91% | 83% |
| 0.85 | 84% | 80% | |
| DALL-E reranked | 1.0 | 89% | 71% |
| 0.85 | 87% | 69% | |
| DALL-E reranked + GLIDE 经 DALL-E dVAE 模糊 | 1.0 | 72% | 63% |
| 0.85 | 66% | 61% |
这张表的人评每个维度 1,000 组。DALL-E reranking 带来更多 test-time compute；dVAE 投影刻意降低 GLIDE 清晰度，用于判断 DALL-E 的离散 VAE 模糊是否影响偏好。
Table 4 · 小模型与大模型人评 Elo
| 规模 | CFG scale | Photorealism | Caption |
|---|---|---|---|
| 300M | 1.0 | −131.8 | −136.4 |
| 300M | 4.0 | 28.2 | 70.9 |
| 3.5B | 1.0 | −23.9 | −27.1 |
| 3.5B | 3.0 | 133.0 | 140.5 |
What the ablation establishes在这组模型和人评协议里，guidance 带来的 Elo 增益超过约十倍参数规模带来的增益；Table 4 没有控制完整训练计算量、训练数据规模和推理次数，无法推导普遍的“guidance 永远优于 scaling”。
Reranking mapFigure 5：DALL-E 从 256 个样本按 CLIP 选最佳，GLIDE 不 rerank。Figure 11：GLIDE 与编辑 baseline 都按 CLIP best-of-64。Appendix G Figures 17–18：DALL-E 每个 prompt 生成 512 张再选 top 16；GLIDE 展示 16 张随机样本。正文 Table 3 的 “DALL-E reranked” 应结合这种额外计算预算理解。
未嵌入 Figure 的编号与作用
[Figure 3 Placeholder]
用连续 mask 与 follow-up prompts 逐步搭建客厅，证明 zero-shot generation 与多轮 inpainting 可以串成编辑工作流。
[Figure 4 Placeholder]
文本条件 SDEdit：草图加噪后重新生成，用于展示结构控制与语义编辑。
[Figure 5 Placeholder]
真实图、XMC-GAN、DALL-E、CLIP-guided GLIDE 与 CFG GLIDE 的 COCO 随机样本；DALL-E best-of-256，GLIDE 无 reranking。
[Figure 6 Placeholder]
64² COCO 的 precision/recall、IS/FID、CLIP score/FID Pareto 曲线；前两项偏向 CFG，CLIP score 曲线偏向 CLIP guidance。
[Figure 7 Placeholder]
两种 guidance 的 scale sweep 人评 Elo，支持 Table 1 选择 CFG scale 3 与 CLIP scale 2。
[Figure 9 Placeholder]
3.5B、300M full-data、300M filtered 与 filtered+CLIP 对照，定位规模、数据过滤和 guidance 的组合影响。
[Figure 10 Placeholder]
public unnoised CLIP + 辅助损失、noised CLIP + upsampler、GLIDE 三列，展示 noise-aware CLIP 的作用。
[Figure 11 Placeholder]
真实图 inpainting 对比；每个方法 CLIP best-of-64，显式 fine-tune 融合更自然，implicit 路径更服从 prompt。
[Figures 12–16 Placeholders]
filtered 模型的性别与宗教偏差、符号能力损失，以及外部 CLIP 组合后出现 face-like objects 的安全边界。
[Figures 17–18 Placeholders]
两个 prompt 的附录随机网格；DALL-E 512→CLIP top 16，GLIDE 三种 guidance 均展示 16 个随机样本。
06 · FILTERING & SAFETY
filtered 版本降低部分能力，也引入覆盖缺口和新的偏差
公开模型是 300M 的 GLIDE (filtered)，约 67M text-image pairs；公开 noised CLIP 使用 filtered GLIDE 数据加 filtered CLIP 数据，model card 报约 137M pairs。论文主结果来自未公开的 3.5B 模型。
| People filter | 图像短边缩放到 224，长边取两端与中间三 crop；CLIP ViT-B/16 特征求均值，再训练 RBF SVM。阈值目标 false-negative rate 低于 1%；独立 1,024 样本中人工未发现 false negative。 |
|---|---|
| Violence filter | CLIP 关键词检索几百个正负例，再对 SVM decision boundary 附近样本反复主动标注；阈值同样目标低于 1%，独立 1,024 样本未观察到 false negative。 |
| Hate-symbol filter | 正例聚焦美国语境中的 swastika 与 confederate flag；作者明确承认覆盖具有美国与西方偏差。 |
| Memorization probe | 对 30K training prompts 生成图像，以 CLIP latent 距离找最近训练图并人工检查；检查样本中没有逐图复现。该方法无法形成没有 memorization 的数学保证。 |
| Composition risk | filtered 模型仍能 inpaint；与未过滤 public CLIP 组合后能够形成 face-like objects。单模型过滤不会封闭外部模型组合产生的能力。 |
Author Claim作者的 red-team 没有找到可识别人物，并据此认为过滤器 false-negative rate 足够低。两个独立 1,024 样本中的零观察失败只说明该样本范围内未发现问题，无法覆盖低照度、遮挡、稀有文化符号与模型组合后的全部输入空间。
07 · PAPER VS. IMPLEMENTATION
公开仓库只覆盖小型 filtered 模型的推理
核查官方仓库固定提交 69b530740eb6cef69442d6180579ef5ba9ef063e（2022-03-21）。仓库 README 明确称其为 small, filtered-data GLIDE 的运行代码。
| 发布内容 | 64² base、256² upsampler、inpainting 与 filtered noised CLIP 权重及三个 notebook；MIT 许可证。 |
|---|---|
| 公开默认 base | num_channels=192、xf_width=512、xf_layers=16、text context 128、1000 diffusion steps、cosine schedule、FP16。 |
| 与论文主模型关系 | 论文主模型使用 base channels 512、24 层宽度 2048 的文本 Transformer，总计 3.5B；公开配置对应 300M filtered 模型，无法复现 Tables 1–4 的全部主模型结果。 |
| Model card 数据 | GLIDE filtered 约 67M pairs；filtered noised CLIP 约 137M pairs。论文正文只写“several hundred million”过滤前数据，model card 补充过滤后规模。 |
| 训练复现 | 仓库以推理为主，没有提供 3.5B 训练数据、完整训练脚本、训练集过滤流水线、主模型 checkpoint 或人评原始记录。 |
| 当前仓库状态 | GitHub 于 2026-05-29 标记归档，只读状态不改变 2022 年固定提交中的论文实现边界。 |
08 · REVIEWER COMMENTARY
系统设计清晰，评价协议和可复现性仍需严格限定
Strengths
- 文本 conditioning 同时覆盖全局 embedding 与多层 token attention。
- CFG 与 noised CLIP 在同一大模型上进行人评和自动指标比较。
- 生成、显式 inpainting、隐式编辑与 SDEdit 构成连续工作流。
- Table 3 主动控制 DALL-E reranking 与 dVAE 模糊的影响。
- 安全附录公开过滤器、测试批次、偏差和组合模型风险。
Weaknesses
- 3.5B 模型、训练数据与完整训练配置没有公开。
- CLIP score 与 CLIP guidance 共享表征，自动指标存在方法偏好。
- 多个 qualitative protocol 使用不同 best-of-N，阅读时容易混淆。
- COCO baseline 包含 supervised 与 zero-shot 两组，不能跨列直接排位。
- 人评缺少评审者数量、分配方式、置信区间和显著性检验。
- 过滤器的地域覆盖与组合系统威胁模型有限。
Potential Improvements
- 公开每项人评的 raw pairwise outcomes 与置信区间。
- 用多个独立视觉语言模型和人工评审共同评价 prompt fidelity。
- 报告 guidance scale 对多样性、属性绑定与长尾关系的分项变化。
- 编辑过程加入显式区域一致性与 prompt adherence 双目标。
- 以等训练 FLOPs 和等推理 FLOPs比较模型 scaling 与 guidance。
- 为 filtered 系统建立跨文化、组合模型与 inpainting 专项评测。
Research Extension对于 procedural material generation，可以把 CFG 的条件差分改造成文本、参考图与材质图约束之间的多条件差分，并把 renderer 输出用于 test-time score。生成对象还需要满足 graph validity、节点类型、参数范围和可执行性；GLIDE 的像素空间实验没有验证这些约束。
09 · SOURCES
一手来源与证据边界
- ICML 2022 / PMLR 162 正式记录：正式作者名、会议、页码 16784–16804 与 BibTeX。
- arXiv:2112.10741v3：2022-03-08 的 20 页版本；方法、公式、Figures 1–18、Tables 1–4 与 Appendices A–G。
- 官方代码固定提交 69b5307：公开 small filtered 推理配置、notebook 与 model card。
- 官方 GLIDE (filtered) model card：过滤后约 67M / 137M pairs、用途、限制与偏差。
本地 PDF SHA-256：0bfe7755ca38d85858aeb8933863f28f9c89fa42d6ecfb8adb0a532ea8176e15。页面图像直接引用 arXiv HTML v3 的官方 Figure 资源；MathJax 3.2.2 bundle 内嵌。