ACE · 全能图像创作与编辑模型精读

01 / Identity & reading boundary

先把论文、版本与证据范围固定下来

正式身份

ICLR 2025

OpenReview 与 ICLR proceedings 均标注为正式会议论文。现有笔记仍写作 2024 arXiv 预印本，本次按正式发表身份补充。

合订本

48 页

本地 PDF 包含 12 页主文、参考文献和附录。附录覆盖数据细节、训练、额外实验、应用与大量可视化。

实现快照

886bf951

官方仓库固定到提交 886bf9510b858e9e99c463efd679d0b79926e4dc，公开 0.6B / 512 与 1024 checkpoint、推理和 toy training。

Paper Verified

论文明确给出 5 位共同第一作者，项目页说明顺序由随机掷骰决定；Chaojie Mao 带项目负责人／通讯标记。ACE 不是 ACE++，后者是后续基于 FLUX 的扩展。

“论文证明”只指公开论文、附录或正式实验。代码观察单列为 implementation audit；没有把仓库的 toy 配置当作完整训练配方，也没有独立重跑 0.7B 训练或人评。

02 / Research motivation

研究缺口：视觉基础模型仍被任务接口切碎

文本生成可以用一个提示接口覆盖许多任务，而图像生成仍常依赖不同的 ControlNet、inpainting、身份保持或文字渲染模型。ACE 试图把“任务类型”从模型选择问题，改写为“条件如何排列”的问题。

接口不统一

纯文本生成、源图编辑、带 mask 局部重绘、多参考生成和多轮交互的输入结构不同，专用模型通常把这些差异硬编码进网络。

训练对不足

编辑需要源图、目标图及准确描述“从 A 到 B 如何变化”的 instruction，普通 caption 数据不能直接提供这种三元关系。

历史容易丢失

连续编辑若只把上一张输出作为下一轮输入，会忘掉早先约束。ACE 把过去的文字与视觉条件直接拼入当前长上下文。

ACE 多轮编辑示例 — 原论文 Figure 1。多轮对话跨通用编辑、人物、场景、风格、重绘、外扩、文字、工作流和图层任务。它展示能力范围，但不是严格的因果消融。

核心假设

只要将视觉与文字条件统一为可对齐的 token 序列，并为图像引用、空间位置和轮次关系提供正确归纳偏置，同一 DiT 就能学习任务间可迁移的“条件到图像”映射。

03 / Problem formulation

Condition Unit：把任务差异写进输入，而不是写进模型

对第 \(i\) 次请求，文字指令记作 \(T_i\)。视觉条件 \(V_i\) 包含 \(N_i\) 张图像 \(I_i^n\) 及逐图掩码 \(M_i^n\)。没有显式 mask 时，论文与实现用全一 mask。

单轮条件单元：

\[ \mathrm{CU}_i=\{T_i,V_i\},\qquad V_i=\{[I_i^1;M_i^1],\ldots,[I_i^{N_i};M_i^{N_i}]\}. \]

分号表示图像 latent 与下采样 mask 沿通道拼接。\(N_i=0\) 时退化为纯文本生成。

带最多 \(m\) 轮历史的长上下文单元：

\[ \mathrm{LCU}_i=\bigl\{\{T_{i-m},\ldots,T_i\},\{V_{i-m},\ldots,V_i\}\bigr\}. \]

它保留每轮指令及视觉证据。论文没有显式外部 memory；历史就是当前 Transformer 输入。

ACE 任务类型和输入范式 — 原论文 Figure 2。8 个基础类型被压缩为三种输入形态：只有文字；文字加单张图／mask；文字加多张图／mask。多轮和长上下文由多个 CU 组合。

输入文字指令、0 至 9 张条件图、逐图 mask、可选历史 CU；实现以 {image} 至 {image9} 建立文字指代。

输出目标图像 latent 经 VAE 解码为 RGB。没有显式输出任务标签、编辑操作序列或中间 graph。

训练目标标准扩散噪声预测。随机时间步上训练 DiT 预测高斯噪声；公开实现使用 L2 loss。

条件T5 编码文字，VAE 编码图像，mask 下采样；三者共同决定去噪轨迹。

04 / Architecture

三项设计分别解决 token 化、指代和长上下文通信

ACE 架构图 — 原论文 Figure 3。左侧是多 CU 总体结构；右侧展开 condition tokenizing、image indicator、3D RoPE、自注意力与逐 CU cross-attention。

1 输入整理解析每个 CU 的 instruction、images 与 masks。

2 编码T5 生成文字 token；VAE 将图像压到 latent；mask 下采样。

3 Patchifylatent 与 mask 通道拼接，再转为一维视觉 token。

4 指示嵌入把 {imageN} 表示加到相应文字和图像 token。

5 长上下文视觉 token 跨图、跨轮 self-attention；3D RoPE 标识轮次和空间。

6 局部对齐每个 CU 的视觉 token 只 cross-attend 同 CU 文字。

7 去噪解码DDIM 迭代 20 步，VAE 解码为图像。

Image Indicator Embedding

对第 \(m\) 个 CU 的第 \(n\) 张图，预定义标记嵌入记作 \(e_{m,n}\)，它被同时加到相关文字 token 与图像 patch token：

\[ y'_{m,n}=y_m+e_{m,n},\qquad u'_{m,n,p}=u_{m,n,p}+e_{m,n}. \]

\(p\) 是空间 patch 索引。这不是显式 pointer loss；关联由共享加法嵌入和端到端训练形成。

Long-context Attention Block

视觉序列加入时间步嵌入，并用 3D RoPE 编码 frame、height、width。所有视觉 token 经 self-attention 得到 \(\mu\)；第 \(m\) 个 CU 的视觉 token 再只读同 CU 文字：

\[ \mu=\operatorname{Attn}(u',u'),\qquad \widehat{u}_{m,n}=\operatorname{Attn}(\mu_{m,n},y'_{m,n}). \]

这避免所有图像无差别读取所有轮次文字；跨轮视觉信息仍可通过 self-attention 传播。

扩散学习

\[ x_t=\sqrt{\bar{\alpha}_t}\,x_0+\sqrt{1-\bar{\alpha}_t}\,\epsilon,\qquad \epsilon\sim\mathcal{N}(0,I), \]\[ \mathcal{L}_{\mathrm{diff}}=\mathbb{E}_{x_0,t,\epsilon}\!\left[\left\|\epsilon-\epsilon_{\theta}(x_t,t,\mathrm{LCU})\right\|_2^2\right]. \]

论文没有另加任务分类、图像指代或长上下文对比 loss。统一能力主要来自输入结构和 0.7B 多任务配对数据。

05 / Data engine

0.7B 配对数据是 ACE 的另一半方法

ACE 数据与指令标注流程 — 原论文 Figure 4。上部构建图像对：专家模型合成，或 SigLIP 聚类后按任务相似度继续分组；下部构建 instruction：模板与 MLLM 两路，最后用 80 万人工修订指令微调 InternVL2-26B。

0.7B

内部图像对

覆盖 8 类、37 个子任务及多轮长上下文。原始数据未公开，去重率与多数子任务绝对数量不可复现。

117M

文生图图像

用 MLLM 补 caption，既服务 text-to-image，也作为组合多步任务的中间桥梁。

800K

人工修订指令

用于微调 InternVL2-26B 成 Instruction Captioner，让任意图像对可生成变换指令。

ACE 训练数据任务分布 — 原论文 Figure 6。公开总体规模与分布图，但没有发布完整 corpus、清洗脚本或每类可复现索引。

两条图像对生产线

合成式：调用 InstantID、StyleBooth 等专用模型从源图生成目标图，任务可控但继承教师模型伪影。
挖掘式：SigLIP + K-means 后做全局过滤、任务相关相似度和 union-find，再枚举集合内图像对。数据更真实，但可能产生“相似而非编辑”的伪对。

任务	构建方式	公开阈值／规模	复现缺口
低层分析／控制	EfficientSAM、MiDaS、RTMPose、Canny、PIDNet、SketchNet、Informative Drawings	10 类特征；全局与局部版本	工具版本、阈值与失败过滤不全
人脸保持	InstantID 合成 aligned；ArcFace + clustering 挖掘 misaligned	aligned 相似度 \(\ge 0.65\)；misaligned 连边 0.8–0.9；10K clusters	分类器与人工清洗标准未公开
人脸属性	Aliyun API 生成 smile、beard、makeup、hair dye，分类器过滤	1.4M pairs	API 与分类器不可得
风格编辑	扩展 StyleBooth；另将风格图逆变换为“原图”	80+ styles / 63K；另约 400 styles / 70K；CSR 阈值 0.65	风格清单与图像许可未发布
Series generation	同簇随机取目标与多张输入	3–8 张输入	聚类阈值与采样权重不完整
长上下文	同质簇串联；或随机组合单图任务形成前序 CU	训练最多 9 张图	轮数分布与 curriculum 未公开

ACE 多轮和长上下文训练数据 — 原论文 Figure 23。上方是连续编辑链；下方把过去指令与图像显式带入后续请求。它是训练数据示意，并不意味着部署时存在独立规划器。

06 / Training & inference

论文给出四阶段规模，但仍不足以一键复现

阶段	参数	数据规模	视觉长度	最大图数	步数	Batch
Instruction Align · 单图	0.6B	0.7B	1024	1	900K	800
Instruction Align · 多图	0.6B	0.7B	1024	9	100K	400
Aesthetic Improvement	0.6B	50M	1024	9	500K	400
Aesthetic Improvement · 高分辨率	0.6B	50M	4096	9	100K	960

BackboneDiT-XL/2，约 0.6B 参数，部分从 PixArt-\(\alpha\) 初始化；公开配置 hidden 1152、28 blocks、16 heads、patch 2。

冻结组件VAE 与 T5-v1_1-XXL；T5 最大 120 tokens；视觉 token 从 1024 扩至 4096。

优化论文：AdamW，learning rate \(2\times10^{-5}\)，weight decay \(5\times10^{-4}\)。只写 A800，未写卡数与时间。

推理默认DDIM 20 steps，CFG scale 4.5，guide rescale 0.5；512 和 1024 checkpoint 分开。

缺失设置

论文未公开 AdamW 的 \(\beta\)、warmup、scheduler、梯度裁剪、完整混合精度、任务采样权重、总 GPU 数与训练时间。不能从 toy YAML 倒推。

07 / Experiments

最强证据是广覆盖；长上下文的数字增益很小

设置	方法	L1 ↓	L2 ↓	CLIP-I ↑	DINO ↑	CLIP-T ↑
单轮 · description	SD-SDEdit	0.1014	0.0278	0.8526	0.7726	0.2777
单轮 · description	Null Text Inversion	0.0749	0.0197	0.8827	0.8206	0.2737
单轮 · description	GLIDE	3.4973	115.8347	0.9487	0.9206	0.2249
单轮 · description	Blended Diffusion	3.5631	119.2813	0.9291	0.8644	0.2622
单轮 · description	ACE	0.0505	0.0160	0.9436	0.9184	0.2833
单轮 · instruction	HIVE	0.1092	0.0380	0.8519	0.7500	-
单轮 · instruction	InstructPix2Pix	0.1122	0.0371	0.8524	0.7428	0.2764
单轮 · instruction	MagicBrush	0.0625	0.0203	0.9332	0.8987	0.2781
单轮 · instruction	UltraEdit	0.0575	0.0172	0.9307	0.8982	-
单轮 · instruction	ACE	0.0507	0.0165	0.9453	0.9215	0.2841
多轮 · description	SD-SDEdit	0.1616	0.0602	0.7933	0.6212	0.2694
多轮 · description	Null Text Inversion	0.1057	0.0335	0.8468	0.7529	0.2710
多轮 · description	GLIDE	11.7487	1079.5997	0.9094	0.8494	0.2252
多轮 · description	Blended Diffusion	14.5439	1510.2271	0.8782	0.7690	0.2619
多轮 · description	ACE	0.0778	0.0290	0.9124	0.8611	0.2843
多轮 · description	ACE + LC	0.0768	0.0285	0.9136	0.8635	0.2819
多轮 · instruction	HIVE	0.1521	0.0557	0.8004	0.6463	0.2673
多轮 · instruction	InstructPix2Pix	0.1584	0.0598	0.7924	0.6177	0.2726
多轮 · instruction	MagicBrush	0.0964	0.0353	0.8924	0.8273	0.2754
多轮 · instruction	UltraEdit	0.0745	0.0236	0.9045	0.8505	-
多轮 · instruction	ACE	0.0773	0.0293	0.9128	0.8661	0.2855
多轮 · instruction	ACE + LC	0.0761	0.0284	0.9140	0.8668	0.2809

读表结论

ACE 在单轮 instruction-guided 五项均最佳。多轮时 LC 让 L1/L2、CLIP-I、DINO 略升，却使 CLIP-T 下降；instruction-guided 的 L1/L2 仍由 UltraEdit 更好。它支持“历史有帮助”，但不是大幅、全面提升。

ACE Benchmark 与人评

ACE benchmark 任务分布 — Figure 24。Benchmark 共 12,000 项、31+ 任务，含 5,900 张真实图和 6,100 张生成图，支持局部与多轮编辑。

Benchmark	真实图	生成图	多轮	局部	任务数	规模
MagicBrush	是	否	是	是	-	1,588
Emu Edit	是	否	否	否	8	3,589
ACE	是	是	是	是	31	12,000

5 位专业设计师匿名评分 prompt following 与 image quality（1–5 分）。论文称 ACE 在 12 个 global editing 任务中的 7 个取得最佳 prompt following，在 10 个 local editing 任务中的 8 个最佳；image quality 分别在 10 个 global 的 5 个、10 个 local 的 7 个最佳。正文的分母与 Table 2 列数表述并不完全一致。

展开 Table 2：ACE 逐任务人评分数

区域	任务	Prompt / Quality	对照观察
Global	Text-to-image	3.7 / 2.5	低于 SDXL 4.1 / 2.8
Global	Canny	4.6 / 2.7	prompt 最佳；quality 低于 CosXL 2.9
Global	Depth	4.5 / 2.8	两项均达到或并列最佳
Global	Scribble	4.8 / 2.9	两项最佳
Global	Pose	4.1 / 2.3	prompt 最佳
Global	Face	2.8 / 2.8	quality 低于 CosXL 3.1
Global	Style	2.4 / 2.6	落后 StyleBooth 3.3 / 2.6 与 CosXL 3.2 / 3.0
Global	General	2.1 / 2.5	落后 CosXL 3.2 / 2.9
Global	Add text	2.8 / 2.7	prompt 低于专用文字模型
Global	Remove text	4.4 / 2.9	两项最佳或并列
Global	Add object	2.6 / 2.4	prompt 低于 MagicBrush 3.1
Global	Remove object	3.9 / 2.5	prompt 最佳；quality 低于 CosXL 3.1
Local	Canny / Depth / Scribble	4.8 / 2.6；4.3 / 2.5；4.8 / 2.6	报告评分均高于 UltraEdit（未报告显著性检验）
Local	Add / Remove text	4.5 / 2.9；4.5 / 2.9	优于文字专用方法的人评
Local	Add / Remove object	3.7 / 2.5；4.3 / 2.5	remove prompt 次于 LaMa 4.5
Local	Inpaint / Outpaint	4.4 / 2.7；4.6 / 2.8	两项最佳

额外定量结果

评测	ACE	关键对照	结论
Emu Edit	CLIPdir 0.0855；CLIPout 0.2746；L1 0.0761；CLIPimg 0.8952；DINO 0.8620	Emu Edit 的 CLIPdir 0.1073；UltraEdit 的 L1 0.0532	内容保持最佳，编辑方向与像素差并非最佳
Facial Editing	FS 70.07；ES 0.67	InstantID 84.08 / 0.96，但额外需要 landmark	优于无 landmark 方法，低于强条件专家
Local Text Render	Normalized Edit Distance 分数 0.8211；Sentence Accuracy 0.5767	UDiffText 0.6827 / 0.4110；AnyText 0.6035 / 0.3313	作者按较高分数判断 ACE 最佳。附录称第一项为 Normalized Edit Distance，并沿用 AnyText 的评估；此处应按论文的高分优方向阅读，不能理解成通常越低越好的原始编辑操作次数。论文未在此给出完整计算公式。

ACE 与专用模型定性比较 — Figure 5。单一 ACE 覆盖 16 个对照系统分散承担的任务。定性图支持覆盖广，但不能替代同分辨率、同采样预算、同输入信息的公平比较。

08 / Ablation & claim audit

论文的“消融”证据不完整，需要降低结论强度

图像指示嵌入效果 — Figure 25。交换 source / reference 的文字指代后，输出随标记变化。它证明模型能使用 indicator，但没有与无 indicator 模型定量对照。

主张	证据	严格判断
Indicator 解决多图指代	Figure 25 的顺序交换定性示例	支持模型会用标记；未证明组件必要性，也无指代错误率
LCU 改善多轮	MagicBrush ACE 与 ACE+LC	四个图像相似指标小幅改善，CLIP-T 下降
统一模型媲美专家	多 benchmark 与人评	覆盖强；一般编辑、风格与文生图仍落后大型或专用模型
3D RoPE / 逐 CU cross-attention 有效	架构与总体结果	无组件级消融，不能分离贡献
数据流水线提升泛化	总体表现	无数据规模、合成／真实比例或 captioner 消融

Reviewer 结论

这更像系统与数据工程贡献，而不是被充分分解验证的新模块。“all-round”覆盖有说服力；每个设计为何有效、哪项贡献最大，证据不足。

09 / Paper vs. implementation

官方代码可跑模型，但不等于公开论文训练体系

项目	论文	固定提交实现	影响
结构	DiT-XL/2，约 0.6B	hidden 1152、28 blocks、16 heads、patch 2；4 latent 通道加 1 mask 通道	核心结构可审计
文字	T5，最大 120，冻结	T5-v1_1-XXL，bfloat16，`USE_GRAD: False`	一致
学习率	\(2\times10^{-5}\)	toy YAML 为 \(10^{-5}\)	YAML 不是论文 full recipe
训练规模	四阶段共 1.6M steps，多达 batch 960	demo：500 steps、batch 1、HED pair toy dataset	只验证训练接口
数据	0.7B pairs + 50M aesthetic	toy loader；主 corpus 与 benchmark 不在仓库	主训练／主评测不可复现
推理	正文未逐项写参数	DDIM 20、scale 4.5、rescale 0.5	checkpoint 推理可复现
长上下文	多个历史 CU	forward 支持 list-of-list；CLI 主要展示单轮单图	需自行组织复杂输入
质量增强	主论文 ACE	仓库另推荐 FLUX SDEdit 的 ACE-Refiner	Refiner 是发布后工程补充

公开实现的关键张量路径

target --VAE--> x_start --add noise--> x_t
source images --VAE--> edit latents
masks --resize--> one mask channel
[latent ; mask] --patch embed--> visual tokens
instruction --T5--> text tokens
{imageN} embedding --> matching visual and text tokens
visual tokens --self-attention + 3D RoPE
per-CU visual/text --cross-attention
DiT --predict epsilon--> DDIM --VAE decode--> RGB

最小复现路径

安装仓库依赖、下载 checkpoint、运行 tools/run_inference.py。编辑指令中显式写 {image} 并传 source image；mask 可选。验证长上下文则需按 LdmACE.forward_test 的 list-of-list 接口组织多轮 prompt 与多图，而非只用简单 CLI。

10 / Reviewer commentary

强项在统一性与规模，弱项在因果证据与可复现性

Strengths

CU/LCU 是清楚且可扩展的多模态输入抽象。
同一模型覆盖生成、分析、控制、编辑、参考与多轮。
真实聚类配对缓解单一合成教师分布。
跨 MagicBrush、Emu Edit、人脸、OCR 与自建人评。
公开 checkpoint 与核心实现。

Weaknesses

0.7B corpus 与 12K benchmark 未完整公开。
缺 3D RoPE、cross-attention、数据比例和规模消融。
人评无方差、显著性与一致性。
baseline 的分辨率、规模和条件信息不完全相同。
长上下文增益小且 CLIP-T 下降。

Improvements

公开 manifest、split、去重和污染检测。
报告指代错误率、历史遗忘率和计算成本。
同 backbone、分辨率、步数和条件对照。
增加指令分解处理单句多意图。
把失败检测与修复纳入闭环。

作者承认的限制

0.6B ACE 的 text-to-image 审美落后 Midjourney 与 FLUX；固定 encoder-decoder 语言模型难理解更复杂、多样指令；当前模型不能在单条指令中同时处理多个 intent，需要意图分解。仓库后续加入 FLUX-based refiner，也印证基础 ACE 的画质瓶颈。

证据边界

“覆盖任务最广”是作者在当时对照集合内的主张，不是对后续通用图像模型的永久排序。本页不把 2024 技术报告结论外推到 2026 模型生态。

11 / Research extensions

对程序化材质生成最有价值的是 Condition Unit 思想

Research Extension	借用 ACE	新增机制	可验证假设
Material Condition Unit	统一文字、参考图、mask 与历史	加入 graph、node preview、材质通道和 renderer state	能否减少任务专用 adapter
Execution-aware attention	逐 CU cross-attention	graph token 只读取对应 node preview／错误日志	能否降低跨节点指代串线和非法连接
Long-context graph editing	LCU 保存历史	显式存储 graph diff、渲染结果和失败原因	相比只传最新 graph，能否减少回归与遗忘
Material pair mining	真实簇内挖 source-target	按 topology、render embedding 和参数差异联合聚类	能否缓解合成 graph 教师偏差
Graph Instruction Captioner	MLLM 标注图像对	输入 before/after render + graph diff	能否构建大规模可执行编辑数据

Our Interpretation

逐 CU cross-attention 是软结构约束。对材质图可让每个 node／subgraph token 只读对应视觉预览、参数和执行反馈，再由全局 self-attention 交换跨节点信息；这比所有文字、图像和 graph token 无差别拼接更容易保留归属。

12 / References

一手来源与核查快照

ICLR 2025 OpenReview：正式论文与评审入口。
arXiv:2410.00086：本页阅读 v2 48 页合订本。
ACE 官方项目页：作者、贡献说明、checkpoint 与 demo。
官方仓库：审计提交 886bf9510b858e9e99c463efd679d0b79926e4dc。
ACE-0.6B-512px 模型卡。
ICLR Proceedings：正式发表记录。

核查覆盖完整论文与附录、官方项目页、官方仓库和模型卡。未用二手摘要填补超参数；未独立复现主训练、人评或 12,000 项 benchmark。