逐层探测语义可解码性；编辑主方案选第 4–14 层，而不是盲目替换全部层。
01 · 先把结论说准确
这篇论文试图回答一个具体问题：在 Stable Diffusion 的图像编辑中，为什么把源图像的 cross-attention map 复制到目标生成分支，有时会把本该改掉的颜色或物体属性也保留下来？作者用两层 MLP 对注意力图做属性探测，再用注意力替换实验连接表示分析与编辑效果，提出 Free-Prompt-Editing（FPE）：在适当层、适当去噪阶段，只移植源图像的 self-attention map，让目标提示词通过未被替换的 cross-attention 自行发挥作用。
编辑在冻结生成模型的推理期完成。研究用的 MLP 需要训练，但不参与 FPE 编辑。
论文 Table 5 的生成图 / 真实图编辑耗时。硬件为 A100 40GB；不是独立复测，也不是所有设置下的保证。
Paper Verified：给定探测设计中，cross-attention 图比 self-attention 图更容易解码颜色类别；受控替换展示了结构保留与编辑幅度之间的权衡。Author Claim：把这些结果概括为 cross-attention 含属性、self-attention 含结构。Our Interpretation：这是有用的经验分工，不是语义与几何严格解耦的定理，更不是“所有 cross-attention 控制都会失败”。
必须纠正的阅读陷阱：正文声称本方法在所有 CDS 指标上超过其他方法，但原 Table 5 的 Wild-fake 中 MasaCtrl 为 0.3474、FPE 为 0.3116。本文将保留原始数据，并将这一处写成“4 个条件中的 3 个 CDS 最优”。CS 上也存在明显取舍。
02 · 身份、版本与阅读范围
| 项目 | 核实内容 |
|---|---|
| 正式标题 | Towards Understanding Cross and Self-Attention in Stable Diffusion for Text-Guided Image Editing |
| 作者顺序 | Bingyan Liu · Chengyu Wang · Tingfeng Cao · Kui Jia · Jun Huang |
| 版本 | arXiv:2403.03431v1，2024-03-06。按本次提供的固定 PDF 阅读，不混入后续版本。 |
| 机构 | 第一作者：South China University of Technology、Alibaba Group；Kui Jia：The Chinese University of Hong Kong, Shenzhen；其他作者的具体归属见 PDF 首页标号。 |
| 通讯作者 | Chengyu Wang、Kui Jia。PDF 首页姓名星号与 “Co-corresponding authors” 明确标注，属于 verified，不能误用末位作者候选规则。 |
| 载体与页数 | 本次按 arXiv 预印本处理；PDF 共 17 页：正文及参考文献 10 页，合订补充材料 7 页。没有把整个合订 PDF 算成另附 17 页。 |
| 论文附带资源 | 首页指向 Alibaba EasyNLP 的 FreePromptEditing 目录。本解读以固定论文及其 HTML 转写核对，不声称已审计、运行或复现仓库实现。 |
本文完整覆盖正文 4 个编号公式、3 个算法、12 张 Figure、9 张 Table，以及补充材料 §7–10。原表全部方法行和指标列保留；大表允许横向滚动。图片优先用固定版本 arXiv 的原图 URL，不把网上图片无谓转成 base64。MathJax 3 引擎内嵌，图片仍需联网。
arXiv 身份页 · 固定 PDF · 对应 HTML。首页 HTML 的邮箱排版有错位可能，作者角色以 PDF 为准。
03 · 研究动机：权重矩阵不是无属性的几何遮罩
文本引导编辑要同时满足两件事：输出符合新提示词；不该改变的源图布局、轮廓、背景和身份信息尽量保留。直接换提示词重新生成，第二件事通常无法保证；把源分支的中间信息大量复制到目标分支，又可能使第一件事失败。核心不是有没有条件，而是移植的表示究竟带了哪些信息。
P2P 把 cross-attention 用作词与空间位置的控制接口。直观上，car 对应的图像区域似乎只告诉模型“这里是一辆车”。但注意力权重由图像 query 与文本 key 共同计算，文本 embedding 也依赖上下文，所以这张图可以带入“白色汽车”的语义特征。目标希望变红时，源图的注意力可能把原属性带回来。论文 Figure 1 和 Figure 7 展示颜色替换、动物替换中的此类现象。
作者的研究空白是：既有编辑操作能够工作，却不一定知道操作对象包含什么，因而控制规则复杂且不稳定。论文不是提出新的基础生成架构、训练新扩散模型或生成材质图，而是用 probing 诊断注意力表示，寻找更简化的推理控制方案。
| 路线 | 本文讨论的控制方式 | 比较时的边界 |
|---|---|---|
| P2P | 源/目标提示词对齐，替换或控制 cross-attention；真实图实验结合 null-text inversion | 本文指出某些属性编辑失效，不能据此否定所有 P2P 配置和任务 |
| PnP | 提取并注入空间特征、自注意力信息 | 本文主张更简单、更省时；表内耗时依赖各方法自己的执行流程 |
| SDEdit / DiffEdit | 噪声强度或自动掩码等控制 | 高编辑幅度与源结构一致性存在取舍 |
| MasaCtrl | 另一类自注意力控制方法 | 必须保留其胜出的 Wild-fake CDS，不能把所有自注意力方法混作一个基线 |
| InstructPix2Pix | 经过专门训练的指令编辑模型 | Figure 8 有定性展示，Table 5 没有其数值；不能填造缺失数值 |
04 · 问题定义、输入与输出
给定源图 \(I_{\mathrm{src}}\) 与目标文本 \(P_{\mathrm{dst}}\)，目标是得到 \(I_{\mathrm{dst}}\)，既满足目标语义，又保留源图的非编辑内容与布局。论文没有将这两种要求写成一个统一可优化的损失；FPE 通过推理期注意力替换实现约束，而非最小化专门的新编辑目标。
| 符号 | 含义与来源 | 在流程中的作用 |
|---|---|---|
| \(P_{\mathrm{src}},P_{\mathrm{dst}}\) | 源/目标提示词 | 合成图流程均使用；默认真实图 DDIM 流程不要求源提示词；可选 null-text 版本又需要源提示词 |
| \(z_{t},z^{\ast}_{t}\) | 源/目标分支在去噪步 \(t\) 的 latent | 从同一起点出发，沿不同提示条件演化；星号指目标分支 |
| \(\phi_{\mathrm{cross}},\phi_{\mathrm{self}}\) | 该注意力层接收到的图像空间特征 | 不是原始 RGB 像素，具体形状随 U-Net 分辨率变化 |
| \(P_{\mathrm{emb}}\) | 文本编码器的上下文化 token embedding | 生成 cross-attention 的 key/value，不是孤立词典向量 |
| \(Q,K,V,M\) | query、key、value、softmax 后的注意力矩阵 | 本文 FPE 移植的是 \(M_{\mathrm{self}}\)，不可自动等同于移植 \(V\)、整个 hidden state 或模型权重 |
| \(T,S,I_{\mathrm{res}}\) | 去噪总步数、随机种子、重建图 | 区分编辑结果与 inversion/reconstruction 误差 |
Our Interpretation：这种设计把“保持关系”实现为沿用源分支的空间交互权重，同时允许目标分支的 value 内容变化。结构保持并不是像素一致性约束，不能保证背景完全不动或身份严格不变。
05 · 四个原公式：注意力究竟传递什么
Cross-attention：空间 query 对文本 key 做匹配
\[Q_{\mathrm{cross}}=\ell_{q}\bigl(\phi_{\mathrm{cross}}(z_{t})\bigr),\qquad K_{\mathrm{cross}}=\ell_{k}(P_{\mathrm{emb}}).\tag{1}\]
学习到的线性投影 \(\ell_q,\ell_k\) 把两种输入映射到同一匹配维度。设该层有 \(N\) 个空间位置、文本有 \(L\) 个 token，每个注意力头的 query/key 维度为 \(d_{\mathrm{cross}}\)，则 \(Q_{\mathrm{cross}}\in\mathbb{R}^{N\times d_{\mathrm{cross}}}\)，\(K_{\mathrm{cross}}\in\mathbb{R}^{L\times d_{\mathrm{cross}}}\)。这些维度是对原公式的解释，不是论文另报的超参数。
\[M_{\mathrm{cross}}=\operatorname{Softmax}\left(\frac{Q_{\mathrm{cross}}K_{\mathrm{cross}}^{\mathsf{T}}}{\sqrt{d_{\mathrm{cross}}}}\right).\tag{2}\]
结果是 \(N\times L\) 的空间到 token 权重。softmax 沿 key/token 维归一化；缩放项避免点积随维度增长而过大。固定一个词取其列，可以画出 Figure 3 的词空间热图。注意力不是只由文本词决定，也不是只由空间坐标决定：改图像 query 或上下文化文本 key，都可能改变权重。
原文同时说明 value 来自 \(V_{\mathrm{cross}}=\ell_v(P_{\mathrm{emb}})\)。为说明计算链，可写标准单头输出 \(O_{\mathrm{cross}}=M_{\mathrm{cross}}V_{\mathrm{cross}}\)；这是原 Figure 2 所示矩阵相乘的解释式，不是论文另编号的损失。权重矩阵能够被解码出颜色，不代表它以显式颜色变量存储语义；可解码性与因果控制应分开理解。
Self-attention：空间位置之间的关系
\[Q_{\mathrm{self}}=\bar{\ell}_{q}\bigl(\phi_{\mathrm{self}}(z_{t})\bigr),\qquad K_{\mathrm{self}}=\bar{\ell}_{K}\bigl(\phi_{\mathrm{self}}(z_{t})\bigr).\tag{3}\]
\[M_{\mathrm{self}}=\operatorname{Softmax}\left(\frac{Q_{\mathrm{self}}K_{\mathrm{self}}^{\mathsf{T}}}{\sqrt{d_{\mathrm{self}}}}\right).\tag{4}\]
此时 query 和 key 均来自图像特征，矩阵大小为 \(N\times N\)。行位置 \(i\) 如何读取列位置 \(j\) 的信息，关系到区域之间的组织与轮廓。\(V_{\mathrm{self}}\) 也来自图像特征，但“没有直接文本输入”不等于“没有语义”：当前特征已经经过多层含文本条件的计算，物体形状也可能携带类别信息。
Our Interpretation，FPE 的局部运算：如果严格只换权重，则目标头输出可理解为 \(O^{\ast}_{\mathrm{self}}=M_{\mathrm{self}}^{\mathrm{src}}V_{\mathrm{self}}^{\mathrm{dst}}\)。沿用源关系、读取目标内容，解释了保结构同时换外观的可能性。但实际多头合并、输出投影、残差和 CFG 分支位置，仍需实现确认；本文不会假装 PDF 已给出全部 hook 细节。
06 · Probing 设计：训练的是探针，不是编辑器
冻结扩散模型，生成带已知类别标签的图像，保存注意力图；在这些图上训练一个两层 MLP 分类器。如果 held-out 数据可预测颜色/动物类别，就证明该探针能够读出类别相关信息。本文用颜色形容词与动物名词各 10 类，cross-attention 取相应 token 的图，self-attention 则取整张空间关系图。
| 数据 | 构造方式 | 规模和处理 |
|---|---|---|
| 固定物体颜色 | a <color> car | 10 色 × 200 随机种子 = 2,000 样本 |
| 跨物体颜色 | a <color> <object> | 10 色 × 100 日常物体 × 2 种子 = 2,000 样本 |
| 动物类别 | a/an <animal> standing in the park | 10 动物 × 200 种子 = 2,000 样本 |
| 非编辑 token | a <color> car 中的 a、car | 分别保存对应 token 图；cross-attention 五组数据的其余两组 |
| 复杂模板 | 如 a photo of a <color> car and a dog、a painting of a wooden <color> car | 12 个更复杂模板；PDF 只展示部分列表，不伪造省略项或精确划分 |
| Self-attention | 固定 car 颜色与动物站立两组 | 每组 2,000 样本；矩阵边长大于等于 256 的层 resize 为 256×256 |
cross-attention 图在生成过程中对时间步求平均；每个样本有对应 16 个注意力层的表示。补充材料列出的 self-attention 原始尺寸包括 4096×4096、1024×1024、256×256、64×64 和 8×8。最后一项及其架构映射仅按原文记录，不从常见 SD 配置擅自更正；固定 checkpoint 的精确模块名和尺寸仍应在复现时核对。
颜色词为 red、blue、green、yellow、brown、pink、purple、black、white、orange；动物为 dog、giraffe、horse、lion、rabbit、sheep、cat、monkey、leopard、tiger。日常物体完整 100 项和复杂模板完整 12 项在 PDF 中用省略号截断，属于论文级复现缺口。
未报告但影响结论：探针隐藏层宽度、激活、flatten/pooling、head 聚合、训练/验证/测试比例、随机种子是否跨 split、optimizer、学习率、batch、epoch、正则化、重复次数与误差条均未给出可完整复现的规格。不能用熟悉的默认值填补后称为作者设置。十分类均匀随机猜测的参照是 10%，但每个类别的表内数值不是整体 balanced accuracy，类别预测塌缩也能造成某类接近 1、其他类为 0。
07 · 主文探测结果与可视化
Figure 3 上半图是提示词 a white horse in the park 对应的 cross-attention 热图；下半图是 self-attention 矩阵经 SVD 得到的前 6 个成分。后者出现马轮廓，是“空间关系中存在可视结构”的定性证据。SVD 成分不是独立语义标签，也不能凭单张图断言所有层都只编码结构。
原 Table 1
| Class | Layer 3 | Layer 6 | Layer 9 | Layer 10 | Layer 12 | Layer 14 | Layer 16 | Avg. |
|---|---|---|---|---|---|---|---|---|
| dog | 1.00 | 1.00 | 1.00 | 1.00 | 0.89 | 0.76 | 1.00 | 0.95 |
| horse | 0.96 | 1.00 | 1.00 | 1.00 | 0.64 | 1.00 | 0.91 | 0.93 |
| sheep | 0.97 | 1.00 | 1.00 | 1.00 | 1.00 | 0.90 | 0.97 | 0.98 |
| leopard | 0.97 | 1.00 | 1.00 | 1.00 | 0.97 | 0.79 | 0.87 | 0.94 |
| tiger | 1.00 | 1.00 | 0.97 | 1.00 | 0.88 | 1.00 | 0.97 | 0.97 |
| green | 0.93 | 0.91 | 0.91 | 0.96 | 0.67 | 0.38 | 0.60 | 0.77 |
| white | 0.97 | 1.00 | 0.94 | 0.97 | 0.97 | 0.61 | 0.85 | 0.90 |
| orange | 0.97 | 1.00 | 0.94 | 0.92 | 0.89 | 0.94 | 0.83 | 0.93 |
| yellow | 0.96 | 0.77 | 1.00 | 0.98 | 1.00 | 0.36 | 0.68 | 0.82 |
| red | 0.97 | 0.97 | 0.93 | 0.85 | 0.70 | 0.23 | 0.65 | 0.76 |
Table 1 报告 7 个层位，而非全部 16 层。动物行平均值 0.93–0.98，所选颜色行 0.76–0.93。sheep 为 0.98、orange 为 0.93，是正文强调的例子。高分类率支持相应表示携带类别相关信号；还无法单独证明移植该表示一定使编辑失败。
原 Table 2
| Class | Layer 3 | Layer 6 | Layer 9 | Layer 10 | Layer 12 | Layer 14 | Layer 16 | Avg. |
|---|---|---|---|---|---|---|---|---|
| dog | 0.53 | 0.60 | 0.78 | 0.60 | 0.53 | 0.47 | 0.38 | 0.55 |
| horse | 0.50 | 0.70 | 0.82 | 0.65 | 0.68 | 0.53 | 0.28 | 0.59 |
| sheep | 0.53 | 0.45 | 0.25 | 0.45 | 0.62 | 0.53 | 0.25 | 0.44 |
| leopard | 0.47 | 0.65 | 0.57 | 0.60 | 0.47 | 0.65 | 0.60 | 0.57 |
| tiger | 0.23 | 0.12 | 0.55 | 0.20 | 0.45 | 0.42 | 0.53 | 0.36 |
| green | 0.00 | 0.00 | 0.05 | 0.00 | 0.05 | 0.00 | 0.12 | 0.03 |
| white | 0.00 | 0.05 | 0.30 | 0.55 | 0.03 | 0.15 | 0.25 | 0.19 |
| orange | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| yellow | 0.00 | 0.42 | 0.07 | 0.05 | 0.00 | 0.30 | 0.07 | 0.13 |
| red | 0.00 | 0.15 | 0.28 | 0.20 | 0.00 | 0.20 | 0.10 | 0.13 |
Table 2 的颜色结果很低，orange 所选层全部为 0；动物仍有明显高于均匀随机的值，例如 horse Layer 9 为 0.82、所选层平均 0.59。这正说明 self-attention 并非“无语义”，动物的结构差异本来就能预测类别。低颜色探测率也可能受 resize、探针容量、特征组织与数据划分影响，不等于信息论意义上完全不含颜色。
Figure 4 比较全部层 1–16、4–14、7–12、仅第 10 层、不替换、直接目标生成。cross-attention 全层替换会保留源属性；self-attention 全层替换可能锁住源图而阻碍变换，不替换则更接近独立目标生成。4–14 是论文实验中的折中，不能当成跨架构通用的神奇层号。
08 · 非编辑词为什么也能干扰颜色编辑
原 Table 3
| Class | Layer 3 | Layer 6 | Layer 9 | Layer 10 | Layer 12 | Layer 14 | Layer 16 | Avg. |
|---|---|---|---|---|---|---|---|---|
| green | 0.03 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| white | 0.20 | 0.00 | 0.70 | 0.00 | 0.72 | 0.30 | 0.05 | 0.28 |
| orange | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| yellow | 0.12 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.02 |
| red | 0.50 | 0.00 | 0.82 | 0.00 | 0.00 | 0.00 | 0.00 | 0.19 |
| green | 0.67 | 0.67 | 0.00 | 0.00 | 0.00 | 0.50 | 0.00 | 0.26 |
| white | 0.33 | 1.00 | 0.83 | 0.58 | 0.00 | 0.00 | 1.00 | 0.54 |
| orange | 0.60 | 1.00 | 0.80 | 1.00 | 1.00 | 0.40 | 0.80 | 0.80 |
| yellow | 0.50 | 0.25 | 0.00 | 0.00 | 0.12 | 0.25 | 0.00 | 0.16 |
| red | 0.38 | 0.88 | 0.75 | 0.12 | 0.12 | 0.38 | 0.00 | 0.38 |
Table 3 上半部对应 a，下半部对应 car。作者观察到 car 的 cross-attention 可以带有前面颜色修饰词的信息，例如 orange 在 car 组的平均分类率为 0.80；a 组的相同颜色为 0。由于文本 token embedding 是上下文化的，保留名词的空间注意力不一定只是保位置，也可能保留源颜色相关的关联。
但“a 不含任何颜色信息”是过强概括：白色 a 组平均 0.28，红色为 0.19，一些单层数值更高。更稳妥的表述是该探针总体表现弱、不同类别及层之间差异明显。补充 Table 7 的全层结果同样应按数值阅读，不能把低平均读作严格为零。
Figure 5 的减号表示从替换集合中去掉相应 token，不是对权重值做数值相减。以源 a blue car 为例，依次不替换 a、不替换 a 与 car、不替换 a、blue、car，直至完全不替换，展示不同 token 的干扰。不能将 “−a,car” 错译为负向 prompt，也不能把全部 token 只理解为一个编辑词。
Our Interpretation：这一观察特别适合提醒局部编辑系统：文本语义在上下文中扩散，不一定能通过“仅不复制目标词”干净消除。完整 causal 证明仍需语义、位置、句长、随机种子等控制与定量成功率。
依据：§3.6、Table 3、Figure 5。
09 · FPE 完整推理：两个分支，一种移植
FPE 没有训练新的 diffusion 权重、没有外部优化目标、没有 renderer 反馈、没有搜索树或自动重试。主操作是同步运行源/目标去噪分支，把选定层、选定时间步的源 self-attention map 提供给目标分支。目标 cross-attention 保持自己的目标文本条件。
Algorithm 1：合成图编辑
- 输入源 prompt、目标 prompt 与随机种子 \(S\)。采样 \(z_T\sim\mathcal{N}(0,I)\)，并令 \(z_T^{\ast}=z_T\)。相同初始噪声是可比较与结构保留的一部分。
- 从 \(t=T\) 到 1，先用源 prompt 对 \(z_t\) 做一次源分支去噪，得到 \(z_{t-1}\) 与此步相关层的 \(M_{\mathrm{self}}\)。
- 用目标 prompt 对 \(z_t^{\ast}\) 去噪。在启用控制的层与步，用刚记录的源 \(M_{\mathrm{self}}\) 替换目标对应权重，得到 \(z_{t-1}^{\ast}\)。
- 循环结束，分别解码 \(z_0\) 与 \(z_0^{\ast}\)，得到源图和编辑图。两张图不应共用最终 latent；共享的是初始噪声及被选择的注意力关系。
Algorithm 2：真实图编辑
- 输入真实图 \(I_{\mathrm{src}}\) 与目标 prompt。先做 DDIM inversion，得到 latent 轨迹 \(\{z_t\}_{t=0}^{T}\)；这里必须把编码、反演与最终去噪区分开。
- 令目标起点等于反演终点 \(z_T^{\ast}=z_T\)。源重建分支按无源 prompt 的论文记法运行并记录 self-attention。
- 目标分支带目标 prompt，按相同层/步选择复制源 self-attention，完成去噪。
- 输出编辑图 \(I_{\mathrm{dst}}\) 与重建图 \(I_{\mathrm{res}}\)。先比较 \(I_{\mathrm{res}}\) 与原图，才能分辨误差来自反演还是编辑控制。
纸面算法的边界：Algorithm 2 虽然先得到完整反演轨迹，但其后重新赋值 \(z_{t-1}\)；PDF 没有完全交代是沿已保存轨迹提取图，还是用一次连续源重建 rollout，及其与 guidance 的一致性。这里保留语义，不把伪代码升级为可直接运行的实现。
\[\widetilde{M}^{\mathrm{dst}}_{\mathrm{self},\ell,t}=
\begin{cases}
M^{\mathrm{src}}_{\mathrm{self},\ell,t},&\ell\in\mathcal{L}\ \text{且}\ t\in\mathcal{T}_{\mathrm{replace}},\\
M^{\mathrm{dst}}_{\mathrm{self},\ell,t},&\text{其他情况}.
\end{cases}\]
上式是我们的显式化总结：\(\mathcal{L}=\{4,\ldots,14\}\) 表示论文建议的层集，\(\mathcal{T}_{\mathrm{replace}}\) 表示启用替换的去噪步。它强调层选择与时间选择是两个独立控制轴；具体步数端点、比例到整数步的取整以及先/后段实现，不能仅凭补充图横轴推定。
Free-Prompt 的准确含义：不是不需要任何 prompt。目标 prompt 一直需要；合成图需要源 prompt，null-text 版本也需要源 prompt。默认真实图方案减轻的是源描述与词对齐需求。
依据：§4、Algorithm 1、Algorithm 2。
10 · 编辑数据集与提示词的构造
| 数据集 | 样本数 | 构造/任务 |
|---|---|---|
| Car-fake-edit | 756 prompt pairs | a <color> car，28 种颜色的有向异色配对：28×27=756 |
| Car-real-edit | 3,321 image–prompt pairs | Stanford Car 中取 123 张真实图，尺寸范围 512–768；CLIP 在 28 色中匹配源颜色，再为每张图构建 27 个目标：123×27=3,321 |
| ImageNet-fake-edit | 1,182 prompt pairs | FlexIT 测试集 1,092 个查询，加上 10 动物类别的模板转换；数量差 90，与 10×9 有向配对一致，但此算式属于我们的解释 |
| ImageNet-real-edit | 1,092 image–prompt pairs | 来自上述 ImageNet/FlexIT 测试设计，真实图使用 a photo of a/an <object> 模板 |
| Wild-TI2I，生成图 | 70 prompt pairs | 沿用 PnP benchmark |
| Wild-TI2I，真实图 | 78 image–prompt pairs | 沿用 PnP benchmark |
| ImageNet-R-TI2I，生成图 | 150 prompt pairs | 沿用 PnP benchmark |
| ImageNet-R-TI2I，真实图 | 150 image–prompt pairs | 沿用 PnP benchmark |
FlexIT 构造背景：273 个 ImageNet 类别人工划成 47 个 cluster，每类采样 8 个 cluster 内变换查询得到 2,184 个 queries；本文使用其中 1,092 的测试集。猫变狗允许，笔记本电脑变蝴蝶不在该设定中。这个限制使测试偏向语义邻近转换，不能拿其结果直接代表任意拓扑或跨领域编辑。
编辑的 28 色完整为：red、green、blue、yellow、orange、purple、pink、black、white、gray、brown、beige、cyan、magenta、teal、lime、olive、navy、maroon、silver、gold、bronze、peach、coral、indigo、violet、turquoise、chocolate。它与 probing 的 10 色集合不同，不能混用样本量。
展开补充材料给出的 28 个 ImageNet 提示模板
a photo of a {}；a rendering of a {}；a cropped photo of the {}；the photo of a {}；a photo of a clean {}；a photo of a dirty {}；a dark photo of the {}；a photo of my {}；a photo of the cool {}；a close-up photo of a {}；a bright photo of the {}；a cropped photo of a {}；a photo of the {}；a good photo of the {}；a photo of one {}；a close-up photo of the {}；a rendition of the {}；a photo of the clean {}；a rendition of a {}；a photo of a nice {}；a good photo of a {}；a photo of the nice {}；a photo of the small {}；a photo of the weird {}；a photo of the large {}；a photo of a cool {}；a photo of a small {}；a {} in the park。
Car-real 的源 prompt 是 CLIP 自动颜色匹配，不是人工真值颜色标注；若匹配错误，CDS 文本方向也可能受影响。论文没有给出这一步的错误率或人工修订协议。生成图 benchmark 依赖种子和基础生成器，真实图 benchmark 另受反演质量约束，应分开报告。
11 · 模型、训练、推理与复现缺口
| 项目 | 论文可确认 | 不可擅自填入 |
|---|---|---|
| 基础模型 | Stable Diffusion 1.5，原文链接 runwayml/stable-diffusion-v1-5；生成器冻结 | checkpoint 文件 hash、库版本、参数总量、精确 VAE 版本 |
| 大模型配置 | 没有 SDXL/DiT/独立大模型定量版本；Figure 9 只有 SD 风格衍生 checkpoint 定性展示 | 不能把衍生模型说成“大模型规模消融” |
| 生成器训练 | FPE 无新增生成器微调 | 不可为它虚构训练 epoch、optimizer 或学习率 |
| 探针训练 | 两层 MLP，十分类，逐层注意力图输入 | hidden width、optimizer、split、训练轮数等完整参数未披露 |
| 推理控制 | 建议 self-attention 第 4–14 层；补充分析替换比例 0.1–0.9 | 主表统一的精确步数、CFG、替换比例、scheduler 全参数没有完整列明 |
| 真实图反演 | 主流程 DDIM inversion；另展示 null-text inversion | 精确反演步数、负提示、无条件 embedding、重建误差阈值 |
| 比较设置 | 用各论文公开代码、统一随机种子；A100 40GB 的耗时报告 | 未完整给出每个 baseline 调参预算、软件环境与总耗时边界 |
| 采样/成本 | 每个目标有相应源/目标分支；默认流程无需逐图模型权重训练 | 未报告温度/top-p/beam 等，因为不是自回归文本解码；也无批大小、精度、峰值显存的完整表 |
推荐复现检查顺序（Our Interpretation）：先固定 checkpoint、VAE、scheduler 和 seed，验证相同 prompt 与 seed 重建一致；再在 16 个实际模块上记录层名与张量形状；验证只替换 softmax 后矩阵而未意外替换 value；独立确认 CFG 的有/无条件分支；最后增加层集与步比例扫描。真实图先做 inversion-only 重建基线，再测编辑，否则不能归因。
此清单是后续工程操作建议，不是本次已执行内容。未下载、安装或运行论文官方代码，也没有凭论文伪代码报告实现一致性。正文将重建限制归因于 “VQ autoencoder”，但其参考文献 [14] 是 VAE；应把这视作原文术语不严谨，不能声称 SD 1.5 一定使用离散 VQ 码本。
12 · 指标该怎么读
论文使用 CLIP Score（CS）和 CLIP Directional Similarity（CDS），均越高越好。CS 衡量目标图与目标文本的语义相似度；CDS 衡量从源到目标的图像变化方向与文本变化方向是否一致。以下给出常用理解式以解释指标，不是声称原文明确给出了其 CLIP checkpoint、缩放系数和实现公式。
\[\mathrm{CS}\ \propto\ \cos\!\left(f_I(I_{\mathrm{dst}}),\,f_T(P_{\mathrm{dst}})\right),\qquad
\mathrm{CDS}=\cos\!\left(f_I(I_{\mathrm{dst}})-f_I(I_{\mathrm{src}}),\,f_T(P_{\mathrm{dst}})-f_T(P_{\mathrm{src}})\right).\]
\(f_I,f_T\) 是 CLIP 图像/文本编码器。CS 可能偏好漂亮且符合目标语义、但已不保原图的结果；CDS 更重视编辑方向，但也不是几何或像素保真度。方向一致可以在明显改变背景时仍然较高。因此正文把 CDS 胜出直接解释成“更保结构”，证据链并不充分。表中 CS 约 25–31，也提示存在度量缩放；不能把它直接当成裸 cosine。
更完整的评价应补非编辑区域 LPIPS/结构相似、分割/关键点一致性、目标属性成功率以及盲测人类偏好，并按真实图与合成图拆分。本文没有这些完整定量结果、统计显著性或置信区间，不能把微小 CS 差值当成稳定优势。
13 · 四个编辑集：对 P2P 的完整数值
原 Table 4
| Dataset | CS \(\uparrow\) | CDS \(\uparrow\) | ||
|---|---|---|---|---|
| P2P | Ours | P2P | Ours | |
| Car-fake-edit | 25.96 | 26.02 | 0.2451 | 0.2659 |
| Car-real-edit | 24.64 | 24.85 | 0.2288 | 0.2605 |
| ImageNet-fake-edit | 27.42 | 27.80 | 0.2401 | 0.2560 |
| ImageNet-real-edit | 26.17 | 26.35 | 0.2426 | 0.2468 |
| 数据集 | FPE−P2P 的 CS | FPE−P2P 的 CDS | CDS 相对增幅 |
|---|---|---|---|
| Car-fake-edit | +0.06 | +0.0208 | 约 8.49% |
| Car-real-edit | +0.21 | +0.0317 | 约 13.85% |
| ImageNet-fake-edit | +0.38 | +0.0159 | 约 6.62% |
| ImageNet-real-edit | +0.18 | +0.0042 | 约 1.73% |
以上差值由原表直接计算，CDS 相对增幅的分母为 P2P。最大的方向改善出现在真实汽车改色，最小在真实 ImageNet 类别编辑。结果与论文“cross-attention 易保留原颜色”的解释一致，但没有独立实验剥离反演方法、控制参数和 prompt 匹配差异，所以不能把全部改善唯一归因于某种注意力语义。
Figure 7 每组上行为 P2P，下行为 FPE。汽车目标为 brown、red、gold、lime、orange；动物目标展示 giraffe、cat、leopard、tiger、dog。作者指出 P2P 常保留白车颜色或羊的外观特征。它是代表样例，不是失败率统计。
14 · 多方法主表：优势、例外与时间代价
原 Table 5
| Method | ImageNet-R-TI2I fake | ImageNet-R-TI2I real | Wild-fake | Wild-real | Editing Times \((s)\) | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| CS \(\uparrow\) | CDS \(\uparrow\) | CS \(\uparrow\) | CDS \(\uparrow\) | CS \(\uparrow\) | CDS \(\uparrow\) | CS \(\uparrow\) | CDS \(\uparrow\) | fake \(\downarrow\) | real \(\downarrow\) | |
| SDEdit (0.5) | - | - | 28.37 | 0.1415 | - | - | 27.48 | 0.1220 | - | 2.59 |
| SDEdit (0.75) | - | - | 30.17 | 0.2171 | - | - | 29.79 | 0.2007 | - | 3.35 |
| Shape-Guided | - | - | 26.01 | 0.1090 | - | - | 26.53 | 0.1330 | - | 16.02 |
| DiffEdit | 26.68 | 0.0748 | 26.50 | 0.0909 | 25.59 | 0.0794 | 26.33 | 0.0879 | 9.02 | 4.85 |
| Pix2pixzero | 27.94 | 0.2271 | 28.96 | 0.1415 | 28.19 | 0.2864 | 29.55 | 0.1462 | 24.92 | 36.76 |
| P2P | 28.88 | 0.3394 | 28.56 | 0.2146 | 27.85 | 0.2796 | 28.42 | 0.1930 | 6.41 | 55.32 |
| PnP | 28.83 | 0.2318 | 28.76 | 0.2073 | 28.20 | 0.2838 | 28.46 | 0.2020 | 335.65 | 384.26 |
| MasaCtrl | 29.66 | 0.3024 | 31.40 | 0.2170 | 29.96 | 0.3474 | 29.33 | 0.2101 | 6.18 | 10.90 |
| Ours | 29.79 | 0.3559 | 29.05 | 0.2271 | 27.88 | 0.3116 | 29.04 | 0.2234 | 6.30 | 10.75 |
CDS 的准确比较：ImageNet-R fake：FPE 0.3559，高于次优 P2P 0.3394，绝对 +0.0165；ImageNet-R real：FPE 0.2271，高于 SDEdit 0.75 的 0.2171，+0.0100；Wild-real：FPE 0.2234，高于 MasaCtrl 0.2101，+0.0133。Wild-fake 的最优是 MasaCtrl 0.3474，FPE 为 0.3116，低 0.0358，约低 10.31%。
CS 的准确比较：FPE 仅在 ImageNet-R fake 的 29.79 最优。ImageNet-R real 最优 MasaCtrl 31.40（FPE 29.05）；Wild-fake 最优 MasaCtrl 29.96（FPE 27.88）；Wild-real 最优 SDEdit 0.75 的 29.79（FPE 29.04）。这不是“整体不好”，而是提醒读者结构保留、文本对齐和改变幅度不该被一个排行合并。
耗时：FPE 6.30 / 10.75 秒，PnP 335.65 / 384.26 秒，按原表算约快 53.28× / 35.74×。但 FPE 生成图略慢于 MasaCtrl 的 6.18 秒，真实图也慢于 SDEdit 2.59–3.35 秒和 DiffEdit 4.85 秒。它的卖点是该质量组合下的低成本，不是绝对最快。P2P 真实图 55.32 秒还包括不同反演/优化流程影响；不能宣称相同前处理下算子本身加速 5.15×。
Table 5 中 “−” 是作者未报告，不是 0。SDEdit 和 Shape-guided 的生成图列缺失应保留；InstructPix2Pix 在 Figure 8 出现但未进入此数值表。没有第三方重测支撑将跨算法耗时推广到新 GPU、现代实现或批处理模式。
Figure 8 按源图、目标提示、FPE、P2P、PnP、两种噪声强度 SDEdit、DiffEdit、Pix2pix-zero、Shape-guided、MasaCtrl、InstructPix2Pix 排列。应同时看目标语义是否成功、原轮廓/姿态是否保留、背景是否漂移；看较好单例不能取代全体样本评价。
依据：固定 PDF pp.7–8；完整 Table 5。本文显式保留正文与表格不一致处，没有篡改原值。
15 · 跨任务、跨 checkpoint 的定性证据
Figure 6 同时展示合成图与真实图：金鱼的 graffiti、photo、embroidery 风格，动物/背景/物体类别转换，以及建筑、婚礼蛋糕和山景的改写。图证明方法可以被用于这些示例，不代表每类任务有独立统计，也不能证明任意大幅形状变化都成功。
Figure 9 在 Realistic-V2（脚注链接 Realistic Vision V2.0）、Deliberate、Anything-V4 等 Stable Diffusion 风格模型上展示年龄、头发、背景和类别编辑。模型的具体命名在正文/图注间略有写法差异，此处保留对应关系。这些 checkpoint 共享相近架构接口，因此注意力替换较易迁移；它没有验证 SDXL、DiT、视频扩散或 flow matching 模型的通用性，也没有给出跨 checkpoint 定量表。
“可迁移”需要从两方面分开检验：接口上能否找到对应 self-attention；统计上在各模型的最佳层/步是否一致。本文主要提供前者的实用展示和少量定性样例，后者仍是后续工作。
16 · 补充探测全表：所有 16 层，而非精选层
以下完整重建附录 Tables 6–9，包括每个类别、所有层位与作者给出的 Avg. 列。原表 Avg. 保留作者数值；它有时与显示的两位小数逐项算术平均不完全吻合，不自行覆盖原值。主表平均只针对精选层，不能与附录 16 层平均直接当作复现实验差异。
原 Table 6
| Class | Layer 1 | Layer 2 | Layer 3 | Layer 4 | Layer 5 | Layer 6 | Layer 7 | Layer 8 | Layer 9 | Layer 10 | Layer 11 | Layer 12 | Layer 13 | Layer 14 | Layer 15 | Layer 16 | Avg. |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| dog | 0.97 | 0.92 | 1.00 | 0.89 | 0.97 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.54 | 0.89 | 1.00 | 0.76 | 0.68 | 1.00 | 0.91 |
| giraffe | 0.94 | 0.97 | 1.00 | 0.97 | 1.00 | 1.00 | 1.00 | 1.00 | 0.92 | 0.97 | 0.97 | 1.00 | 0.97 | 0.92 | 0.92 | 0.89 | 0.97 |
| horse | 0.98 | 0.98 | 0.96 | 0.84 | 0.82 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.64 | 0.64 | 0.93 | 1.00 | 0.89 | 0.91 | 0.91 |
| lion | 0.98 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.93 | 0.93 | 0.95 | 0.98 | 0.66 | 0.90 | 0.98 | 0.93 | 0.98 | 0.98 | 0.95 |
| rabbit | 0.85 | 0.87 | 1.00 | 0.98 | 1.00 | 1.00 | 0.96 | 0.96 | 0.98 | 0.91 | 0.49 | 0.98 | 0.96 | 0.74 | 0.96 | 1.00 | 0.91 |
| sheep | 0.93 | 0.82 | 0.97 | 1.00 | 0.95 | 1.00 | 0.97 | 1.00 | 1.00 | 1.00 | 0.97 | 1.00 | 0.93 | 0.90 | 0.80 | 0.97 | 0.95 |
| cat | 0.95 | 0.95 | 0.90 | 0.95 | 0.88 | 1.00 | 1.00 | 0.95 | 0.95 | 0.82 | 0.85 | 0.78 | 0.97 | 0.75 | 0.70 | 0.78 | 0.89 |
| monkey | 1.00 | 1.00 | 1.00 | 1.00 | 0.95 | 1.00 | 0.98 | 1.00 | 1.00 | 1.00 | 0.67 | 1.00 | 1.00 | 1.00 | 0.95 | 1.00 | 0.97 |
| leopard | 1.00 | 0.89 | 0.97 | 1.00 | 0.97 | 1.00 | 0.97 | 0.95 | 1.00 | 1.00 | 0.76 | 0.97 | 0.97 | 0.79 | 0.97 | 0.87 | 0.94 |
| tiger | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.94 | 0.97 | 1.00 | 0.91 | 0.88 | 1.00 | 1.00 | 1.00 | 0.97 | 0.98 |
| green | 0.91 | 0.84 | 0.93 | 0.89 | 0.98 | 0.91 | 0.96 | 0.96 | 0.91 | 0.96 | 0.93 | 0.67 | 0.98 | 0.38 | 0.47 | 0.60 | 0.83 |
| white | 0.88 | 0.15 | 0.97 | 0.91 | 1.00 | 1.00 | 1.00 | 0.97 | 0.94 | 0.97 | 0.97 | 0.97 | 1.00 | 0.61 | 0.88 | 0.85 | 0.88 |
| purple | 0.98 | 0.93 | 1.00 | 0.98 | 1.00 | 0.98 | 0.63 | 0.98 | 0.84 | 0.93 | 0.86 | 0.95 | 1.00 | 0.51 | 0.60 | 0.44 | 0.85 |
| brown | 0.97 | 0.82 | 0.97 | 0.95 | 1.00 | 0.92 | 0.95 | 0.95 | 0.89 | 0.92 | 0.95 | 0.97 | 0.95 | 0.34 | 0.84 | 0.79 | 0.89 |
| blue | 0.92 | 0.65 | 0.86 | 0.92 | 1.00 | 1.00 | 1.00 | 1.00 | 0.95 | 0.92 | 0.86 | 0.95 | 0.97 | 0.19 | 0.62 | 0.57 | 0.84 |
| orange | 0.94 | 0.72 | 0.97 | 1.00 | 1.00 | 1.00 | 0.92 | 0.89 | 0.94 | 0.92 | 0.86 | 0.89 | 0.94 | 0.94 | 1.00 | 0.83 | 0.92 |
| black | 0.93 | 0.80 | 0.85 | 0.78 | 1.00 | 0.95 | 0.97 | 0.90 | 0.95 | 0.93 | 0.60 | 0.75 | 1.00 | 0.65 | 0.85 | 0.82 | 0.86 |
| pink | 0.93 | 0.54 | 0.98 | 0.93 | 1.00 | 1.00 | 0.95 | 0.95 | 1.00 | 1.00 | 1.00 | 0.51 | 1.00 | 0.46 | 0.51 | 0.88 | 0.85 |
| yellow | 0.96 | 0.51 | 0.96 | 0.89 | 0.96 | 0.77 | 0.98 | 0.96 | 1.00 | 0.98 | 0.91 | 1.00 | 0.98 | 0.36 | 0.81 | 0.68 | 0.86 |
| red | 0.85 | 0.85 | 0.97 | 0.90 | 1.00 | 0.97 | 0.60 | 0.97 | 0.93 | 0.85 | 0.90 | 0.70 | 1.00 | 0.23 | 0.80 | 0.65 | 0.82 |
| green | 1.00 | 1.00 | 0.97 | 0.97 | 1.00 | 0.97 | 0.47 | 0.68 | 0.80 | 0.93 | 1.00 | 0.97 | 0.97 | 0.50 | 0.75 | 0.95 | 0.87 |
| white | 1.00 | 0.89 | 1.00 | 0.91 | 1.00 | 0.82 | 0.18 | 0.64 | 0.44 | 0.84 | 0.60 | 0.73 | 0.98 | 0.56 | 0.69 | 0.89 | 0.76 |
| purple | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.77 | 0.69 | 0.90 | 0.87 | 0.05 | 0.97 | 0.97 | 0.67 | 0.90 | 1.00 | 0.86 |
| brown | 1.00 | 1.00 | 0.97 | 1.00 | 0.97 | 0.78 | 0.62 | 0.34 | 0.09 | 0.66 | 0.97 | 0.97 | 0.94 | 0.84 | 0.75 | 1.00 | 0.81 |
| blue | 1.00 | 0.97 | 0.97 | 0.94 | 1.00 | 1.00 | 0.94 | 0.89 | 0.72 | 1.00 | 0.42 | 0.97 | 1.00 | 0.86 | 0.94 | 0.94 | 0.91 |
| orange | 1.00 | 1.00 | 0.95 | 1.00 | 1.00 | 0.97 | 0.84 | 0.97 | 0.82 | 0.92 | 0.89 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.96 |
| black | 1.00 | 0.95 | 0.97 | 0.85 | 1.00 | 1.00 | 0.97 | 0.77 | 0.79 | 0.95 | 0.08 | 0.95 | 1.00 | 0.85 | 0.97 | 0.85 | 0.87 |
| pink | 1.00 | 0.95 | 0.95 | 0.95 | 1.00 | 1.00 | 0.95 | 0.88 | 0.76 | 0.90 | 1.00 | 0.95 | 1.00 | 0.71 | 0.90 | 0.95 | 0.93 |
| yellow | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.74 | 0.88 | 0.85 | 0.97 | 0.74 | 0.94 | 1.00 | 0.76 | 0.82 | 0.74 | 0.90 |
| red | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.95 | 0.15 | 0.87 | 0.87 | 0.74 | 0.44 | 0.95 | 1.00 | 0.95 | 0.90 | 0.79 | 0.85 |
| green | 0.82 | 0.58 | 0.84 | 0.13 | 0.84 | 0.16 | 0.55 | 0.03 | 0.16 | 0.08 | 0.92 | 0.42 | 0.34 | 0.29 | 0.29 | 0.84 | 0.46 |
| white | 0.74 | 0.11 | 0.42 | 0.82 | 0.16 | 0.18 | 0.39 | 0.42 | 0.68 | 0.63 | 0.58 | 1.00 | 0.63 | 0.32 | 0.08 | 0.89 | 0.50 |
| purple | 0.53 | 0.11 | 0.79 | 0.47 | 0.84 | 1.00 | 0.26 | 0.08 | 0.08 | 0.24 | 0.00 | 0.92 | 0.95 | 0.08 | 0.13 | 0.29 | 0.42 |
| brown | 0.97 | 0.68 | 0.74 | 0.66 | 0.84 | 0.18 | 0.13 | 0.08 | 0.00 | 0.03 | 0.92 | 0.76 | 0.68 | 0.45 | 0.61 | 0.18 | 0.50 |
| blue | 0.87 | 0.68 | 0.11 | 0.13 | 1.00 | 0.61 | 0.05 | 0.32 | 0.16 | 0.18 | 0.05 | 0.34 | 0.87 | 0.03 | 0.47 | 0.34 | 0.39 |
| orange | 0.87 | 0.24 | 0.89 | 0.95 | 0.50 | 0.55 | 0.45 | 0.13 | 0.18 | 0.34 | 0.08 | 0.92 | 0.76 | 0.26 | 0.92 | 0.34 | 0.52 |
| black | 0.50 | 0.82 | 0.68 | 0.26 | 0.55 | 0.82 | 0.84 | 0.00 | 0.42 | 0.68 | 0.00 | 0.05 | 0.95 | 0.45 | 0.61 | 0.79 | 0.53 |
| pink | 0.58 | 0.16 | 0.32 | 0.66 | 0.76 | 0.32 | 0.34 | 0.82 | 0.61 | 0.11 | 1.00 | 0.11 | 0.95 | 0.18 | 0.61 | 0.97 | 0.53 |
| yellow | 0.16 | 0.08 | 0.66 | 0.68 | 0.55 | 0.05 | 0.55 | 0.26 | 0.63 | 0.71 | 0.76 | 0.79 | 0.79 | 0.42 | 0.16 | 0.39 | 0.48 |
| red | 0.74 | 0.05 | 0.84 | 0.74 | 0.82 | 0.61 | 0.00 | 0.32 | 0.84 | 0.42 | 0.63 | 0.61 | 0.97 | 0.76 | 0.45 | 0.34 | 0.57 |
Table 6 分组与原文冲突：第一组 10 行为 animal；接着两组 10 行为两种颜色模板；最后 10 行是训练 car、测试不同 object 的跨分布设置。图注写第二组 a <color> car、第三组 a <color><object>，而 §8 的文字把这两组顺序反过来。正文 Table 1 的颜色行与第二组相应层数值一致。我们保留行序并标明歧义，不能无证据选一处消掉冲突。
跨物体测试最后一组各类 Avg. 约 0.39–0.57，跨类平均约 0.49；显著低于许多同分布结果，但高于十分类均匀随机参考 0.10。它支持语义信号部分迁移，同时暴露对象/模板依赖。没有独立对象划分和 head/尺寸控制，就不能说是纯颜色不变量。
原 Table 7
| Class | Layer 1 | Layer 2 | Layer 3 | Layer 4 | Layer 5 | Layer 6 | Layer 7 | Layer 8 | Layer 9 | Layer 10 | Layer 11 | Layer 12 | Layer 13 | Layer 14 | Layer 15 | Layer 16 | Avg. |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| green | 0.35 | 0.80 | 0.03 | 0.00 | 0.53 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.05 | 0.00 | 0.11 |
| white | 0.03 | 0.00 | 0.20 | 0.47 | 0.00 | 0.00 | 0.00 | 0.00 | 0.70 | 0.00 | 0.00 | 0.72 | 0.00 | 0.30 | 0.07 | 0.05 | 0.16 |
| purple | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.00 | 0.00 | 0.00 |
| brown | 0.82 | 0.00 | 0.45 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.75 | 0.15 | 0.97 | 0.20 |
| blue | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.07 | 0.00 | 0.00 | 0.07 | 0.03 | 0.20 | 0.00 | 0.00 | 0.00 | 0.02 |
| orange | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| black | 0.03 | 0.03 | 0.07 | 0.82 | 0.00 | 1.00 | 1.00 | 0.00 | 0.00 | 1.00 | 0.00 | 0.60 | 0.85 | 0.20 | 0.88 | 0.05 | 0.41 |
| pink | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.07 | 0.03 | 0.00 | 0.01 |
| yellow | 0.00 | 0.03 | 0.12 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.01 |
| red | 0.00 | 0.00 | 0.50 | 0.00 | 0.50 | 0.00 | 0.00 | 0.93 | 0.82 | 0.00 | 1.00 | 0.00 | 0.35 | 0.00 | 0.05 | 0.00 | 0.26 |
| green | 0.67 | 0.00 | 0.67 | 0.00 | 0.17 | 0.67 | 0.33 | 0.33 | 0.00 | 0.00 | 0.17 | 0.00 | 0.17 | 0.50 | 0.17 | 0.00 | 0.24 |
| white | 0.83 | 0.00 | 0.33 | 0.00 | 0.00 | 1.00 | 0.50 | 0.08 | 0.83 | 0.58 | 0.08 | 0.00 | 0.92 | 0.00 | 0.83 | 1.00 | 0.44 |
| purple | 0.75 | 0.00 | 0.25 | 0.00 | 0.50 | 0.00 | 0.12 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.50 | 0.25 | 0.00 | 0.00 | 0.15 |
| brown | 0.40 | 1.00 | 0.40 | 0.80 | 0.00 | 0.00 | 0.20 | 0.70 | 0.20 | 0.00 | 0.00 | 0.90 | 0.60 | 0.00 | 0.70 | 0.00 | 0.37 |
| blue | 0.44 | 0.00 | 0.22 | 0.00 | 0.11 | 0.33 | 0.00 | 0.22 | 0.11 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.09 |
| orange | 0.40 | 0.40 | 0.60 | 1.00 | 0.80 | 1.00 | 1.00 | 0.80 | 0.80 | 1.00 | 1.00 | 1.00 | 1.00 | 0.40 | 0.80 | 0.80 | 0.80 |
| black | 1.00 | 0.00 | 0.83 | 0.17 | 0.67 | 0.33 | 0.67 | 1.00 | 0.50 | 0.50 | 0.00 | 0.00 | 0.17 | 0.00 | 0.00 | 0.83 | 0.42 |
| pink | 0.12 | 0.00 | 0.38 | 0.38 | 0.12 | 0.12 | 0.38 | 1.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.62 | 0.00 | 0.20 |
| yellow | 0.62 | 0.00 | 0.50 | 0.00 | 0.12 | 0.25 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.12 | 0.00 | 0.25 | 0.00 | 0.00 | 0.12 |
| red | 0.25 | 0.00 | 0.38 | 0.12 | 0.62 | 0.88 | 0.62 | 1.00 | 0.75 | 0.12 | 0.00 | 0.12 | 0.62 | 0.38 | 0.00 | 0.00 | 0.37 |
Table 7 上半 10 行 a、下半 10 行 car；对应 simple color-car 模板中的非目标词。orange 的 car 行保持较高、某些 a 行也有非零表现。结合上下文编码机制，这提供“非编辑 token 可携带编辑属性”的证据；仍不等价于每个 token 都携带同样的信息。
原 Table 8
| Class | Layer 1 | Layer 2 | Layer 3 | Layer 4 | Layer 5 | Layer 6 | Layer 7 | Layer 8 | Layer 9 | Layer 10 | Layer 11 | Layer 12 | Layer 13 | Layer 14 | Layer 15 | Layer 16 | Avg. |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| dog | 0.47 | 0.38 | 0.53 | 0.23 | 0.55 | 0.60 | 0.50 | 0.53 | 0.78 | 0.60 | 0.57 | 0.53 | 0.57 | 0.47 | 0.38 | 0.38 | 0.50 |
| giraffe | 0.28 | 0.47 | 0.47 | 0.60 | 0.68 | 0.62 | 0.75 | 0.60 | 0.78 | 0.72 | 0.62 | 0.57 | 0.55 | 0.68 | 0.42 | 0.57 | 0.59 |
| horse | 0.12 | 0.20 | 0.50 | 0.38 | 0.70 | 0.70 | 0.40 | 0.80 | 0.82 | 0.65 | 0.70 | 0.68 | 0.55 | 0.53 | 0.30 | 0.28 | 0.52 |
| lion | 0.07 | 0.17 | 0.38 | 0.38 | 0.20 | 0.15 | 0.35 | 0.28 | 0.17 | 0.23 | 0.40 | 0.47 | 0.42 | 0.33 | 0.35 | 0.25 | 0.29 |
| rabbit | 0.30 | 0.30 | 0.25 | 0.33 | 0.23 | 0.20 | 0.25 | 0.17 | 0.20 | 0.23 | 0.23 | 0.20 | 0.30 | 0.42 | 0.28 | 0.28 | 0.26 |
| sheep | 0.17 | 0.23 | 0.53 | 0.55 | 0.33 | 0.45 | 0.07 | 0.38 | 0.25 | 0.45 | 0.55 | 0.62 | 0.42 | 0.53 | 0.38 | 0.25 | 0.38 |
| cat | 0.07 | 0.17 | 0.07 | 0.17 | 0.20 | 0.15 | 0.12 | 0.23 | 0.28 | 0.12 | 0.25 | 0.33 | 0.25 | 0.17 | 0.23 | 0.15 | 0.19 |
| monkey | 0.33 | 0.33 | 0.28 | 0.38 | 0.28 | 0.38 | 0.07 | 0.62 | 0.38 | 0.45 | 0.28 | 0.30 | 0.33 | 0.33 | 0.33 | 0.33 | 0.33 |
| leopard | 0.72 | 0.70 | 0.47 | 0.62 | 0.57 | 0.65 | 0.38 | 0.42 | 0.57 | 0.60 | 0.47 | 0.47 | 0.42 | 0.65 | 0.62 | 0.60 | 0.56 |
| tiger | 0.38 | 0.38 | 0.23 | 0.42 | 0.35 | 0.12 | 0.23 | 0.28 | 0.55 | 0.20 | 0.53 | 0.45 | 0.35 | 0.42 | 0.50 | 0.53 | 0.37 |
| green | 0.00 | 0.12 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.05 | 0.00 | 0.12 | 0.05 | 0.00 | 0.00 | 0.00 | 0.12 | 0.03 |
| white | 0.00 | 0.33 | 0.00 | 0.00 | 0.53 | 0.05 | 0.45 | 0.68 | 0.30 | 0.55 | 0.07 | 0.03 | 0.00 | 0.15 | 0.00 | 0.25 | 0.21 |
| purple | 0.00 | 0.03 | 0.00 | 0.00 | 0.28 | 0.60 | 0.00 | 0.07 | 0.05 | 0.35 | 0.10 | 0.07 | 0.03 | 0.50 | 0.00 | 0.00 | 0.13 |
| brown | 0.00 | 0.10 | 0.00 | 0.00 | 0.00 | 0.00 | 0.05 | 0.03 | 0.05 | 0.00 | 0.17 | 0.17 | 0.05 | 0.03 | 0.00 | 0.10 | 0.05 |
| blue | 0.72 | 0.07 | 0.57 | 0.55 | 0.10 | 0.00 | 0.30 | 0.05 | 0.12 | 0.05 | 0.28 | 0.33 | 0.65 | 0.00 | 0.35 | 0.05 | 0.26 |
| orange | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.03 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| black | 0.00 | 0.35 | 0.03 | 0.03 | 0.07 | 0.00 | 0.33 | 0.05 | 0.15 | 0.07 | 0.17 | 0.20 | 0.10 | 0.25 | 0.10 | 0.28 | 0.14 |
| pink | 0.35 | 0.20 | 0.65 | 0.55 | 0.17 | 0.03 | 0.00 | 0.38 | 0.47 | 0.28 | 0.45 | 0.50 | 0.57 | 0.03 | 0.80 | 0.35 | 0.36 |
| yellow | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.42 | 0.00 | 0.15 | 0.07 | 0.05 | 0.05 | 0.00 | 0.03 | 0.30 | 0.15 | 0.07 | 0.08 |
| red | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.15 | 0.33 | 0.03 | 0.28 | 0.20 | 0.05 | 0.00 | 0.03 | 0.20 | 0.00 | 0.10 | 0.08 |
Table 8 前 10 行是动物，后 10 行是颜色。动物有可解码结构关联，颜色表现整体较弱但不均匀，pink 的 Avg. 达 0.36、blue 达 0.26。作者说 self-attention 不直接成为良好类别表示，应理解为本探针/本数据下相对较差，而非普遍不存在类别信号。
原 Table 9
| Class | Layer 1 | Layer 2 | Layer 3 | Layer 4 | Layer 5 | Layer 6 | Layer 7 | Layer 8 | Layer 9 | Layer 10 | Layer 11 | Layer 12 | Layer 13 | Layer 14 | Layer 15 | Layer 16 | Avg. |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| green | 0.81 | 0.74 | 0.85 | 0.81 | 0.91 | 0.68 | 0.79 | 0.85 | 0.89 | 0.87 | 0.94 | 0.62 | 0.96 | 0.43 | 0.64 | 0.40 | 0.76 |
| white | 0.82 | 0.79 | 0.91 | 0.91 | 1.00 | 0.82 | 0.97 | 0.91 | 0.91 | 0.73 | 0.97 | 0.94 | 0.97 | 0.45 | 0.61 | 0.55 | 0.83 |
| purple | 0.98 | 0.65 | 1.00 | 0.86 | 0.98 | 0.95 | 0.79 | 0.93 | 0.95 | 0.93 | 0.91 | 0.79 | 0.98 | 0.47 | 0.35 | 0.72 | 0.83 |
| brown | 0.96 | 0.76 | 0.98 | 0.93 | 0.98 | 0.80 | 0.84 | 0.98 | 0.96 | 0.80 | 0.89 | 0.96 | 0.98 | 0.73 | 0.82 | 0.87 | 0.89 |
| blue | 0.89 | 0.62 | 0.95 | 0.59 | 0.86 | 0.95 | 0.70 | 1.00 | 0.97 | 0.62 | 0.73 | 0.89 | 1.00 | 0.16 | 0.59 | 0.68 | 0.76 |
| orange | 1.00 | 0.61 | 0.97 | 0.95 | 0.92 | 1.00 | 0.79 | 0.87 | 0.84 | 0.71 | 0.79 | 0.82 | 1.00 | 0.47 | 1.00 | 0.87 | 0.85 |
| black | 0.93 | 0.75 | 0.95 | 0.88 | 1.00 | 0.88 | 0.95 | 0.93 | 0.93 | 0.82 | 0.88 | 0.82 | 1.00 | 0.68 | 0.85 | 0.93 | 0.88 |
| pink | 0.90 | 0.02 | 0.88 | 0.98 | 0.93 | 0.95 | 0.88 | 0.85 | 0.93 | 0.98 | 0.95 | 0.76 | 0.98 | 0.27 | 0.66 | 0.66 | 0.79 |
| yellow | 0.89 | 0.56 | 0.89 | 0.78 | 1.00 | 0.75 | 0.92 | 0.94 | 0.86 | 0.69 | 0.81 | 0.86 | 0.92 | 0.33 | 0.58 | 0.47 | 0.77 |
| red | 0.93 | 0.00 | 0.90 | 0.75 | 0.93 | 0.95 | 0.88 | 0.90 | 0.97 | 0.80 | 0.85 | 0.75 | 1.00 | 0.60 | 0.53 | 0.70 | 0.78 |
| green | 0.00 | 0.00 | 0.00 | 0.00 | 0.36 | 0.51 | 0.73 | 0.42 | 0.60 | 0.20 | 0.44 | 0.00 | 0.29 | 0.00 | 0.18 | 0.00 | 0.23 |
| white | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.03 | 0.12 | 0.03 | 0.03 | 0.03 | 0.06 | 0.03 | 0.03 | 0.03 | 0.36 | 0.00 | 0.05 |
| purple | 0.00 | 0.00 | 0.00 | 0.02 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.02 | 0.02 | 0.16 | 0.07 | 0.00 | 0.19 | 0.00 | 0.03 |
| brown | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.03 | 0.05 | 0.11 | 0.08 | 0.00 | 0.00 | 0.00 | 0.05 | 0.00 | 0.02 |
| blue | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| orange | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.00 | 0.00 | 0.42 | 0.19 | 0.00 | 0.00 | 0.00 | 0.08 | 0.00 | 0.05 |
| black | 0.00 | 0.00 | 0.00 | 0.00 | 0.03 | 0.03 | 0.12 | 0.07 | 0.07 | 0.07 | 0.10 | 0.00 | 0.03 | 0.00 | 0.03 | 0.00 | 0.03 |
| pink | 1.00 | 1.00 | 1.00 | 1.00 | 0.00 | 0.00 | 0.09 | 0.00 | 0.00 | 0.02 | 0.02 | 0.85 | 0.00 | 0.91 | 0.04 | 1.00 | 0.43 |
| yellow | 0.00 | 0.00 | 0.00 | 0.00 | 0.17 | 0.22 | 0.02 | 0.22 | 0.20 | 0.39 | 0.00 | 0.00 | 0.17 | 0.00 | 0.17 | 0.00 | 0.10 |
| red | 0.00 | 0.00 | 0.00 | 0.00 | 0.68 | 0.55 | 0.00 | 0.40 | 0.17 | 0.00 | 0.17 | 0.00 | 0.65 | 0.00 | 0.10 | 0.00 | 0.17 |
Table 9 上半 cross-attention、下半 self-attention，测试复杂文本模板。cross 各色 Avg. 约 0.76–0.89，self 多数较低；但 self 的 pink Avg. 0.43，且某些层该类为 1.00，同时多个别类为 0。这种现象需要 confusion matrix 和宏平均指标来辨别类别偏置/预测塌缩，不能把单类 100% 当作整体探测成功。
依据：PDF pp.12–14，补充 §8。大表采用原 HTML 单元格转写并与固定 PDF 文本数字核对，不是图片截图。
17 · 替换层与替换时段：附录的关键消融
Figure 10 是 dog → leopard 的名词编辑，Figure 11 是 blue car → brown car 的颜色编辑。每张图横轴 0.9、0.8、…、0.1 为替换步数比例，比例越高表示替换的去噪步越多；每种控制方案都分 1–16、4–14、7–12、第 10 层四个层集。三组方案分别为只替换 self、self+cross、只替换 cross。
| 控制方案 | 观察 | 实际支持与局限 |
|---|---|---|
| 只替换 cross | 动物形态、草地背景或车结构可能漂移；不能充分保源结构 | 显示这两个样例中的局限，不是全数据集的平均失败率 |
| 同时替换 self 与 cross | 混合实验固定 cross 比例为 0.8、改变 self 比例；会带回狗的特征或蓝色车色 | 横轴不能误读成两种注意力共同变化；源属性泄漏与结构保留同时发生 |
| 只替换 self，比例 0.1 | 结果接近直接按目标 prompt 生成 | 控制不足，源结构约束弱 |
| 只替换 self，全 16 层且比例 0.9 | 结果接近源图 | 控制过强，阻碍目标编辑 |
| 只替换 self，第 4–14 层且比例 0.4–0.8 | 作者报告更有利的保结构/可编辑折中 | 这是定性经验区间，未有完整量化调参曲面及统计置信度 |
这套消融最重要的启示是：注意力类型、层位置、时间步三者交互，不能只记“self 好、cross 坏”。FPE 的简单性主要来自控制接口少，而不是无需选择超参数。对复杂大幅形变，过强的 self 控制也会阻止本来应该发生的几何变化。
依据：PDF pp.14–16，补充 §9。
18 · 可选 null-text inversion：更强重建的代价
补充 Algorithm 3 给出 FPE 与 Null-Text Inversion 的组合。输入真实图、源 prompt、目标 prompt；首先获得反演 latent \(\hat z_T\) 和各时间步的无条件文本 embedding \(\{\varnothing_t\}\)。源重建分支用源 prompt 与这些 embedding 生成注意力，目标分支用目标 prompt 与同一组已优化的无条件 embedding，并在指定位置接收源 self-attention。
- 反演/优化阶段：\((\hat z_T,\{\varnothing_t\}_{t=1}^{T})\leftarrow\operatorname{NullTextInv}(P_{\mathrm{src}},I)\)。此处存在逐图优化开销，不是默认 DDIM 分支的同等成本。
- 初始化目标 latent 为 \(\hat z_T\)，源与目标在每步同步推进；源条件用 \(P_{\mathrm{src}}\)，目标条件用 \(P_{\mathrm{dst}}\)。
- 沿用 FPE 的 self-attention 控制，最终解码源重建 latent 和目标编辑 latent。不要把“冻结模型权重”与“没有任何测试时优化”混为一谈。
原伪代码的两个问题：Algorithm 3 第 4 行在循环内写的是 \(\operatorname{DM}(\hat z_T,\{\varnothing\}_t,P_{\mathrm{src}},t)\)，而不是随步推进的源 latent；第 7 行返回 \(z_0,z_0^{\ast}\)，与头部写的图像输出也不完全一致。我们按原文记录这些记号不一致，不悄悄修正并冒充逐行复现代码。合理工程解释是使用当前步源 latent，末尾再解码；这是解释而非已验证实现。
Figure 12 在 ImageNet-real-edit 展示 null-text 与 DDIM 两种反演都能配合 FPE；null-text 的源 prompt 为 a photo of a/an <object>。论文没有为这张图补上对应的总体 CS/CDS、重建误差或计算开销对照，所以不能量化宣称 null-text 普遍更好。
依据：补充 §10、Algorithm 3。
19 · Reviewer 视角：贡献成立在哪里
Strengths
- 问题导向清楚：把实际编辑中的属性残留与可被探测的表示信息连接起来，解释为什么看似仅保布局的操作会影响语义。
- 方案简单：不需要训练新的生成器，不必依赖源/目标 token 对齐来做默认真实图编辑，利于建立清晰的控制基线。
- 证据跨度较好：主文精选层加附录全部 16 层；简单/复杂模板、跨物体测试、层集与时间比例消融，避免只靠一张热图。
- 成本具有实用价值：原比较中接近 P2P/MasaCtrl 的生成耗时，同时在多个 CDS 设置上较强，且远低于文中 PnP 流程。
Weaknesses
- 可解码不等于因果充分性：MLP 准确率说明相关信息存在，不能区分文本语义、空间形状、种子、token 位置等混杂。还缺随机标签、不同容量探针、跨种子/对象严格划分等控制。
- 两个注意力输入维度不对称：self 图经过 resize，cross 图的组织和规模不同，探针性能差异可能部分来自测量方法，而非表示本质。
- 主要指标不能充分证明保结构：CLIP 方向不是结构距离；没有非编辑区指标、身份保持指标或人类偏好的全量评价。
- 基线与措辞：对真实图方法的反演和优化流程不一致；表内 Wild-fake 的 MasaCtrl 优势与正文“全部 CDS 最优”相矛盾；衍生模型迁移只有定性展示。
- 复现信息不足：探针训练配方与 split、SD 推理参数、层映射、具体替换时段未完整公开在 PDF；Table 6 的模板分组顺序与 Algorithm 3 的记号有冲突。
- 控制范围有限：保持源结构可能与大幅形变目标直接冲突；若基础生成器本身不能画出目标，注意力控制无法补足生成能力。真实图还受编码/反演误差约束。
可执行的改进实验
- 固定一组源/目标图、seed、反演和总步数，做注意力类型 × 层集 × 时段的定量网格，分别绘制编辑成功与非编辑区保真 Pareto 曲线。
- 用相同输入容量的线性与非线性探针、相同 resize/池化策略，报告 balanced accuracy、confusion matrix 和多 seed 置信区间。
- 把颜色、对象、模板、seed 独立留出；交叉测试其泛化，判断探针读到的是普适颜色还是模板/轮廓捷径。
- 对 \(M,Q,K,V\) 分别做受控干预，且保持干预能量和层/步一致，比“可分类”更直接检验哪个因素导致属性泄漏。
- 将层选择映射为分辨率/计算阶段，而非硬编码 4–14，再测试其他架构；将默认超参数与逐图调参预算同时公开。
20 · 对程序化材质研究的启发与适用边界
Research Extension，尚未由本文验证：对于材质编辑，用户常希望改变颜色、粗糙度或纹理样式，却保持裂纹布局、砖缝、编织组织。FPE 的“保空间关系、改语义内容”可成为外观编辑的一种候选先验；但 RGB 图的形状保留并不等于法线/高度/粗糙度参数的一致性，更不等于材质图拓扑正确。
| 可延伸问题 | 建议实验 | 不能提前宣称 |
|---|---|---|
| 颜色与结构分离 | 固定程序化材质参数生成可控 GT，改 base color 保持高度图；比较 self 控制、cross 控制、无控制 | 不能把颜色可探测性当作物理通道解耦 |
| 多通道编辑一致性 | 对 base color、normal、roughness、height 同步控制，检查渲染后跨光照一致性 | 本文没有多通道或 BRDF 约束 |
| Renderer-in-the-loop | 将编辑图作为目标，用执行/渲染验证程序化图参数；分别评估视觉相似和程序合法性 | FPE 本身不生成 SBS/SBSAR、节点图、边或可执行程序 |
| 自适应层/步选择 | 依据目标编辑类型和重建误差选择控制强度，并显式比较调参成本 | 不能默认固定 4–14 适合所有材质频段 |
| 可逆性与可解释控制 | 测试同材质往返编辑、局部区域改动、跨视图稳定性 | 单视图 qualitative 不能保证 inverse graphics 中的可辨识性 |
对程序图生成真正有价值的转化，是把“哪些表示携带应保留的约束”变成可量化问题，而不是把图像注意力矩阵直接当作材质节点图。此方向不涉及本文实际提供的数据、实验或系统能力。
21 · 阅读后应能回答的八个问题
- FPE 是否训练 SD？不训练；两层 MLP 是解释研究里的探针，默认编辑阶段不用它。
- 为什么 cross 图能含颜色？它由图像 query 与上下文化文本 key 共同产生，非编辑词也可能受颜色上下文影响。
- Self 图是否完全不含语义？不是；动物轮廓可以携带类别，其探针数值并不为零。
- 移植的是哪一个对象？论文指 softmax 后的 self-attention map，不可自动改写为复制 value、所有特征或模型参数。
- 为什么不是全层全程复制？约束过强会把目标锁回源图；4–14 层和适中步比例是本文样例中的折中。
- 真实图真的不要 prompt？仍需目标 prompt；默认 DDIM 方案不要求源 prompt，null-text 组合则要求源 prompt。
- 所有 benchmark 都最好吗？不是；Wild-fake CDS 输给 MasaCtrl，CS 只在四个条件之一领先，耗时也不是绝对最短。
- 能否只看 PDF 完整复现？主机制可以理解，但探针训练、hook/CFG、步数和反演参数有缺口，需要另行核实。
最终应带走的核心不是一种绝对分工，而是推理期复制的权重也会携带不想复制的属性，控制设计必须同时考虑表示、层和时间。
22 · 来源、事实边界与交付说明
- Liu et al.，固定 PDF 2403.03431v1：本次主来源，含正文、参考文献和合订 supplement；图表/算法位置均可回到原文核查。
- arXiv 版本元数据：标题、作者、提交日期和版本身份的交叉核对。
- arXiv HTML：原图链接与完整表格转写来源；数值与固定 PDF 互查，遇到原文不一致保留并指出。
- 作者在 PDF 中给出的代码/数据入口：仅作为出处链接，本次不声称其内容经过实现审计或执行。
页面内容中文重述并保留必要英文技术术语；原 Figure/Table 归原作者。原创解释、计算差值、reviewer 观点和研究延伸均已标注。没有将未报告配置、缺失完整模板、潜在伪代码修正写成论文事实。
本次完成静态内容、公式源码、导航目标、图像 HTTP/格式与文件体积检查；按本批次要求不做浏览器验收、部署或修改真实 Obsidian 仓库。原笔记与 PDF++ anchors 在合并候选中按原字节前缀保留。页面采用 MathJax 3；实际浏览器公式渲染、移动端布局与联网图片显示仍待下载后验收，不能据静态检查声称已通过。