SIGGRAPH 2023 · ACM Transactions on Graphics 42(4), Article 101

一句话，修改照片的颜色。

从平面设计元素中准确提取颜色，再把它赋予照片中由语言指定的局部区域。

Zhenwei Wang* · Nanxuan Zhao* · Gerhard P. Hancke · Rynson W. H. Lau†
论文：Language-based Photo Color Adjustment for Graphic Designs · DOI 10.1145/3592111 · arXiv:2308.03059v1
* 共同第一作者；† 通讯作者。此标记由作者项目页明确给出。

设计图像 × 自然语言精确来源色局部语义重着色合成数据

01 / Research motivation

研究空缺：颜色、对象和设计语境需要同时指定

设计者常常希望“用标题的颜色修改蓝色沙发”。这句话包含两个独立定位问题：标题在哪里、沙发的哪些像素属于可编辑区域。普通图像调色方法通常只处理其中一部分。

已有工具的约束

操作成本与表达能力

商业工具可以细致修改局部颜色，但使用者需要选择区域与调色参数。基于单击的设计图像调色能够快速生成结果，却难以明确指定来源元素和目标对象；普通文本编辑方法接收“蓝色”等笼统颜色词，难以复用设计稿中精确的 RGB 值。[1]

论文的假设

把指令拆成两个指向

来源颜色描述指向设计元素，目标区域描述指向照片内容。模型分别解析两部分，再用语义区域和调色板图层控制颜色传播。粗粒度词语还可以返回多个合理来源颜色。[1]

Paper Verified论文在 71 张真实设计稿组成的 165 组设计—指令测试集、定量比较及两项用户研究中验证了这一路线。它主要覆盖元素较少的单页设计；复杂自由格式指令仍是作者报告的限制。[1][2]

论文 Figure 1：设计稿以及不同语言指令生成的照片重着色结果 — **Figure 1 · 任务示例。**“background”可以对应多个来源色；“yellow shape”指向特定形状。图像来自作者项目页，对应论文 Figure 1。[1]

02 / Problem formulation

输入、输出与符号

输入是一张像素形式的完整设计图 \(D\)、其中待编辑照片 \(I\)，以及自然语言指令 \(l\)。设计元素无需提供矢量文件。输出是重着色照片 \(I'\)，再放回设计稿。来源颜色由设计稿中的文字、背景或形状决定；目标区域位于照片。论文没有定义对整个设计稿直接优化的单一全局目标，系统通过训练颜色预测与目标分割网络，随后执行优化式图层分解和颜色替换。[1]

符号	含义与尺度	作用
\(D\in\mathbb{R}^{H\times W\times3}\)	像素化平面设计	查找来源设计元素和 RGB 色
\(I,\ I'\)	原始照片及编辑后照片	局部重着色的输入与输出
\(l\)	包含来源颜色描述和目标区域描述的指令	联合约束两个模块
\(e_i=(e_i^{cls},e_i^{att})\)	来源元素的类别和颜色属性	对应“标题”“蓝色”等粒度
\(M_e,\ C_b,\ C_r,\ C_s\)	元素概率掩码、10 个基色、颜色残差、最终来源色	从设计中抽取准确颜色
\(M_r^{init},m_f,m_b\)	初始二值目标掩码、软前景、软背景	建立语义局部区域
\(\mathscr{P},\mathscr{L},\mathscr{L}'\)	照片调色板、软颜色图层、语义颜色图层	以可分解层执行局部重着色

这里没有生成式潜变量、扩散采样或图结构；\(C_b\) 是从设计像素投票得到的候选基色，\(\mathscr{L}'\) 是图像分解后的图层。[1]

03 / Algorithm

LangRecol：预测来源色，再编辑照片图层

论文 Figure 2：来源颜色预测和语义调色板照片重着色的两阶段流程 — **Figure 2 · 完整流程。**作者项目页原图。左侧解析设计图和语言，右侧解析照片和语言，随后形成局部重着色结果。[1]

将 \(D\) 与 \(I\) 分别送入 ResNet101；指令 \(l\) 送入从头训练的 Bi-GRU。通过 co-attention 在末三个 residual block 逐层融合文字与视觉特征，得到设计—指令特征 \(f_{dl}\) 和照片—指令特征 \(f_{il}\)。
用 \(f_{dl}\) 预测设计元素类别、颜色属性及元素掩码 \(M_e\)。按元素类型进行颜色投票，修正候选基色并预测每种颜色的置信度。
用 \(f_{il}\) 预测照片中目标对象的初始掩码 \(M_r^{init}\)。语义软分割将其细化成 \(m_f,m_b\)，照片调色板分解得到软颜色图层。
前景/背景掩码与颜色图层两两组合，选择前景覆盖程度最高的 4 层，使用来源颜色修改图层，同时恢复原区域的亮度差，合成为 \(I'\)。

来源色：类别识别、像素投票与残差修正

设计元素分为背景、文字和形状三个主类；细类含标题、副标题、正文、无内容形状、背景形状。初始 16 种元素经可识别性筛选后，论文 Figure 3 形成八种层次概念。类别和颜色属性分别由独立分类器预测；补充材料写明输出分别为 7 维（6 类和 None）、12 维（11 色和 None）。[1][2]

\[f'_{dl}=\operatorname{GAP}(f_{dl}),\qquad p_{cls}=\mathcal{G}_{cls}(f'_{dl}),\quad p_{att}=\mathcal{G}_{att}(f'_{dl}).\]

全局平均池化把融合特征压成分类输入；类别和颜色属性帮助解释粗细粒度不同的语言指向，类别结果还决定后续使用的投票与颜色修正分支。[1]

先取 \(M_e\) 超过其均值阈值的设计像素，再将相近 RGB 色归入每轴 6 桶的三维直方图。文字像素稀疏，采用最大值投票；填充形状与背景面积较大，采用求和投票。各自取 10 个基色 \(C_b\)。两套参数独立的修正网络预测颜色残差 \(C_r\) 和置信度 \(s\)。补充材料给出：10 张纯色图、元素掩码和设计图拼成 34 通道；卷积及多尺度池化后经 1024、512 神经元隐藏层，输出每候选颜色 3 个 RGB 残差和 1 个置信度。[1][2]

\[C_s=C_b+C_r,\qquad v=\operatorname{mean}(M_e),\qquad k=10.\]

\(v\) 决定候选像素，\(k\) 限制候选数量。系统按置信度阈值筛选多种来源色；补充材料指出高阈值下仍保留最高置信度颜色，以避免空输出。[1][2]

训练目标与公式符号审查

\[L_g=\operatorname{CE}(\hat p_{cls},p_{cls})+\operatorname{CE}(\hat p_{att},p_{att}),\qquad L_c=\lVert\hat C_s-C_s\rVert_2^2.\]

类别与属性用交叉熵；来源 RGB 用平方误差。多色输出的顺序没有语义，补充材料说明每次训练先用二分图匹配建立预测颜色、置信度与真实颜色的对应关系。[1][2]

\[L_m=\operatorname{BCE}(\hat M_e,M_e),\qquad L_s=\operatorname{BCE}(\hat s,s),\qquad L=\lambda_1L_g+\lambda_2L_m+\lambda_3L_c+\lambda_4L_s.\]

\(L_m\) 监督元素掩码，\(L_s\) 监督每个候选颜色是否与真实来源色匹配，四个系数均为 1。正文式（3）和式（5）印出的对数项缺少通常最小化所需的负号；此处以正值 BCE 函数表示作者文字所述的损失，实际代码实现目前无法核实。[1][2]

目标区域：从粗掩码到语义颜色图层

PhraseCut 提供短语和分割掩码，用于训练目标区域网络，但原标注边界较粗。系统借用语义软分割 \(\mathcal S\) 结合照片纹理、颜色和初始掩码，生成目标前景 \(m_f\) 与其余区域 \(m_b\)。再用几何调色板分解照片为 \(N\) 个软颜色图层，每个图层有逐像素透明度；与前景、背景逐一配对得到 \(Q=2N\) 层。[1]

\[M_r^{soft}=\{m_f,m_b\}=\mathcal S(M_r^{init},I),\qquad \mathscr L'=\{\mathscr l'_q\}_{q=1}^{2N}.\]

这一步把粗语义边界与连续的颜色结构结合，目的是降低局部涂色时的边缘溢出；\(\mathcal S\) 和调色板分解沿用既有优化方法。[1]

\[o_i=\frac{\sum_{p}\alpha_i(p)m_f(p)}{\sum_{p}\alpha_i(p)},\qquad n=4.\]

覆盖率 \(o_i\) 衡量第 \(i\) 个语义颜色图层落在目标前景的比例。选择得分最高的四层进行编辑，是论文采用的经验设定。[1]

\[\Delta\mathbb L_i=\mathbb L_{ti}-\mathbb L_{t1},\qquad \hat{\mathbb L}_i=\mathbb L_{C_s}+\Delta\mathbb L_i.\]

以最主要的目标层 \(t1\) 为亮度参照，将来源颜色的 CIE Lab 亮度加回各层原有亮度差，尽量维持纹理明暗；其余图层保持原样参与合成。[1]

Figure 3–6 · 原论文图示索引。Figure 3 给出设计元素层次；Figure 4 展示合成设计、指令、颜色和掩码；Figure 5 展示类别感知来源色预测；Figure 6 展示语义调色板图层及选择。完整原图请查看作者论文 HTML中对应编号。页面文字和公式逐步解释了每幅图的关键机制。

04 / Data & training

训练材料：合成设计与 PhraseCut 分别承担两项监督

真实设计稿制作成本高，作者分析 71 张 Canva 设计的元素位置、尺寸、数量、文字行数、字数、字体、颜色对比和形状外观，再按背景、形状、照片、文字顺序生成合成设计；形状和照片以 0.5 概率交换叠放顺序。照片之外的设计调色板限制在 3–5 色。每张合成设计配多条指令和来源元素的 RGB、掩码。[2]

来源部分使用 11 个基本颜色属性：blue、brown、green、orange、pink、purple、red、yellow、black、grey、white。模板随机交换来源描述和目标区域描述的语序，并更换动词。目标短语来自 PhraseCut，可包含“walking people”“black shirt”等不同粒度表述。这里没有 LLM、system prompt、few-shot 或链式推理提示；训练文本由模板生成，补充材料未逐条公开所有模板和词表。[1][2]

组成	公开配置	用途与边界
合成设计—指令	20,500 组；20,000 训练、500 验证	训练来源元素掩码、类别/颜色属性及来源 RGB；合成分布与真实设计之间仍有差距
PhraseCut	使用原训练/验证划分；正文和补充材料未列本文采用的具体条目数	训练语言目标区域初始分割
真实测试集	71 张 Canva 设计、165 组设计—指令	两名专业设计师各自编辑，第三名在每例中选偏好结果作为参考真值
图像大小	训练设计与照片 256×256；优化式细化及重着色长边 384，保持原长宽比	分阶段分辨率影响边界细节和运行成本
优化与阶段	Adam，学习率 \(10^{-4}\)，批次 10；预训练掩码和粒度网络 20 epoch，联合训练 20 epoch；目标分割训练 60 epoch	先预训练以避免模型训练塌缩；后续图层重着色无需训练
设备	Intel i7-10700、单张 RTX 3080	论文未给出总训练时间或逐张推理耗时
未公开设置	学习率调度、warmup、weight decay、混合精度、参数量、随机种子、完整合成模板及下载清单未见明确值	复现时须自行记录，不能把猜测当成原论文配置

Our Interpretation合成数据使元素类别、像素掩码、准确来源色和指令之间具备自动监督；真实测试集由人类挑选结果作“偏好参考”，因此 PSNR/SSIM 度量的是与该参考的接近程度，不能独立证明视觉美感。[1][2]

05 / Results

定量结果、用户偏好与比较条件

Open-Edit 和 ManiGAN 接收由作者人工转换的适配提示词；GDRecolor 使用本方法预测的来源颜色，但无法接收目标区域指令。RecolGAN、Imagic 因代码/预训练模型不可获得，补充材料只将本文示例与对方原论文图片进行定性对照，未纳入同一测试集上的定量表。基线比较因此具有输入格式和可复现性的边界。[1][2]

Table 1 · 方法	PSNR ↑	SSIM ↑	比较说明
Open-Edit	15.55	0.5230	文本编辑基线，人工改写提示词
ManiGAN	16.91	0.6662	文本编辑基线，人工改写提示词
LangRecol	24.27	0.8500	比 ManiGAN 高 7.36 dB、0.1838 SSIM

两项数值均与第三位设计师选出的参考图比较；GDRecolor 无法按目标区域指令编辑，作者没有给出其同一协议的 PSNR/SSIM。[1]

Table 2 · LangRecol 对比对象	自然度：偏好本方法	遵循指令：偏好本方法
Open-Edit	82.2%	83.0%
ManiGAN	69.6%	82.6%
专业设计师	42.2%	36.5%

主观比较从测试集中随机选 68 组设计—指令；35 位计算机科学系参与者在同一台校色显示器前作两选一判断，每份问卷包含 30 次两两比较，每组比较至少由 3 人评估，参与者最多完成两份问卷。论文报告各项偏好差异在卡方检验中达到 \(p\lt0.05\)。与设计师相比，本方法在两项指标上的偏好率均低于一半。[1][2]

作者项目页展示的论文 Figure 7 重着色结果 — **Figure 7 · 多种真实设计上的结果。**展示同一设计稿可由不同来源颜色与目标区域描述得到不同输出；此图提供案例证据，不构成总体成功率。[1]

作者项目页展示的论文 Figure 9 基线定性对比 — **Figure 9 · 与基线的定性对照。**作者指出 ManiGAN 会发生全局改变或近似不变，Open-Edit 可能损失局部细节，GDRecolor 缺乏语言指定区域的控制。具体失败条件见论文 Figure 9 原图。[1]

Figure 8、Figure 10–14 · 原论文图示索引。Figure 8 给出粗粒度指令对应多个输出；Figure 10 为颜色误差和置信度曲线；Figure 11 为来源色模块消融；Figure 12 为局部重着色对照；Figure 13–14 为交互界面及可用性评价。原图见论文 HTML。

语言交互的使用时间

另外 10 位新手分别试用语言界面及手绘掩码/颜色选择界面，两边共享同一语义调色板重着色模块。经过 15 分钟教程，每人处理 5 个随机测试任务，测试顺序随机；论文报告语言界面平均每例节省 43 秒，即 63.70%。Figure 14 的评分中，多数维度有利于语言界面，遵循指令一项未显示优势。该结果评估的是特定界面与任务条件下的交互效率。[1][2]

06 / Ablation & evidence

两个模块分别贡献了什么

比较	移除或替换	论文观察	证据范围
Basic	去除粒度识别和类别感知；统一均值投票，单一颜色修正网络	误识别部分背景与文字元素，颜色 MSE 高于完整模型	Figure 10 曲线与 Figure 11 案例；正文未列逐变体精确表格值
+granularity	保留粒度识别；全部元素仍用均值投票	较 Basic 改善；文字背景噪声及形状过渡色仍影响预测	Figure 10–11；完整模型 RGB 每通道平均误差约 ±5.95
完整来源色模块	粒度识别、按类别投票、两套修正网络	在 Figure 10 的 MSE 和置信度准确率曲线中最好	置信度阈值 0.55 在测试集表现最好；缺少独立跨数据集验证
去除语义调色板细化	用初始二值掩码加语义重着色网络	Figure 12 出现边缘溢色等伪影	主要是定性案例；没有模块级量化表
普通调色板编辑	只利用调色板，不约束语义局部区域	可能修改皮肤等非目标区域	Figure 12 的示例对照

Paper Verified完整模块在作者测试集上取得最低颜色误差，局部语义图层在展示案例中改善了边缘质量。[1]

Author Claim作者称这些设计让结果更自然且更符合设计美感；Figure 12 主要提供视觉比较，未用独立的区域外改动量和边界误差指标量化这个机制。[1]

Our Interpretation分类分支同时改变候选颜色投票方式与修正网络参数，因此 Figure 10 的增益不能进一步单独归因到其中一项。真实设计中复杂字体与未见对象的泛化仍需检验。

07 / Reproduction & boundaries

复现步骤及公开实现边界

取得论文 PDF 与补充材料，并复现 Canva 设计统计、合成设计图层顺序、3–5 色约束、11 色属性及 PhraseCut 指令模板；固定训练/验证拆分与随机种子。
构建 ResNet101 + Bi-GRU + co-attention 融合网络；来源分支训练元素掩码、类别、属性、10 候选颜色残差与置信度。按补充材料实行二分图匹配和分阶段训练。
在 PhraseCut 训练目标分割网络；将二值掩码、语义软分割、几何调色板分解、四层选择及 Lab 亮度差合成串联。
构建 71 张真实设计及 165 条测试指令，保存三位设计师的参考选择；重新测算 Table 1、Table 2，并记录区域外改变、边界误差及每阶段耗时。

Paper vs. Implementation论文与补充材料多次称代码和数据会公开；当前作者项目页的“Code”卡片链接指回项目页本身，页面没有可核查的仓库入口或数据下载地址。因此无法核查实际 hard-coded 规则、具体颜色桶实现、预处理或与论文描述的差异。论文引用的 CEFNet 是目标分割相关的外部基础实现，不等于完整 LangRecol 代码。[3][2]

论文说明模型基于从头训练的 Bi-GRU，因此训练集没有出现的目标物或设计元素可能无法解析。合成稿未覆盖创意字体时可能把字母当作形状；复杂场景里的反射颜色可能失去长距离一致性。补充材料还指出指令需要明显包含来源色与目标区两部分；“把包改得更时尚”这种意图式语句容易失败，同外观对象之间也可能需要手工修正。[1][2]

已展示应用

设计模板与批量编辑

Figure 15–18 分别展示模板配对、多照片手册、设计集合以及迭代编辑。这些是应用示例；多目标描述在手册案例中需拆成单目标子指令。[1]

伦理与授权

图像来源需要核实

补充材料讨论了未经许可修改受版权保护设计的风险，建议当前系统用于非商业场景。实际使用仍需确认设计与照片的授权。[2]

作者项目页 Figure 15：照片与不同设计模板配对 — **Figure 15 · 设计模板配对。**同一照片分别匹配多个模板所需的颜色语境。来源：作者项目页。[1]

Figure 16–19 与补充图 Figure 20–29。多照片手册、设计集合、迭代编辑、失败案例及补充比较详见主论文和补充材料；Figure 19 特别展示创意字体误判与反射不一致。

08 / Reviewer commentary

方法价值与下一步研究问题

Strengths

设计语境被明确建模

来源设计元素与照片目标对象分别定位，能提取设计中的确切 RGB 颜色；元素粒度识别和多颜色输出增强了交互表达能力。用软语义掩码和颜色图层处理粗标注边界，系统设计与数据瓶颈直接相关。用户研究包含专业设计师对照和交互耗时。[1]

Weaknesses

评估与复现仍有空缺

定量对照仅覆盖 Open-Edit、ManiGAN；其他方法的图像对比来自不同来源。参考真值由设计师偏好选择，表达空间多解性未被 PSNR/SSIM 捕获。局部边界质量主要依赖案例图；完整代码与数据入口当前不可核查。[1][2][3]

Research Extension构建按设计元素、目标区域和最终效果分开的评价协议：来源 RGB 差异、目标掩码 IoU/边界误差、非目标区域颜色漂移、编辑后的人类偏好分别测量。针对多解指令，可报告候选覆盖率和置信度校准。针对复杂字体与反射，可尝试真实设计微调、目标对象关系约束和交互式局部修正；这些方向尚未由本文实验验证。

09 / References

原始资料与核查范围

论文正文。 Wang et al., Language-based Photo Color Adjustment for Graphic Designs, ACM TOG 42(4), Article 101, 2023, DOI 10.1145/3592111。arXiv HTML v1 · 作者 PDF。本页以本地保存的 arXiv v1 PDF 及其 HTML 核对正文、公式、表格与图号。
官方补充材料。 Supplementary Material, 9 页。用于核对数据合成、网络结构、训练参数、匹配策略、用户研究、附加比较和局限。
作者项目页。 LangRecol。用于核对作者角色、官方图片地址及公开代码入口。
关联方法。 CEFNet 官方仓库；Semantic Soft Segmentation；Efficient Palette-based Decomposition and Recoloring。这些是论文流程引用的独立方法，不能替代 LangRecol 完整实现。

阅读时间范围：主论文 15 页的 arXiv v1 本地 PDF、9 页官方补充材料、作者项目页。文中百分比与实验数据保持论文原值；未公开参数均明确标出。