MultiMat

核心结论

MultiMat 的关键贡献不是简单地向模型多喂一张目标图，而是把程序执行产生的中间视觉状态持续放回上下文。由此，图生成从一次性文本解码变成带环境执行、错误检测和回溯的多步过程。

问题定义与 CompactSBS

程序化材质图 \(G\) 是有向无环图。节点集合写作 \(\{v_1,v_2,\ldots,v_N\}\)，边描述图像数据流。每个节点可以是生成器或滤镜，并产生中间图像。论文把当前步骤已经执行得到的视觉状态记作 \(I_t\)。节点参数同时包含连续量、离散量和向量。

这里的 \(I_t\) 应理解为步骤 \(t\) 时可用的中间输出集合，不只是第 \(t\) 个节点的一张预览。因此公式中不另写 \(I_{\lt t}\)，并不意味着历史视觉状态被丢弃，而是历史已经包含在当前执行状态中。

CompactSBS 是什么

原生 SBS 是冗长 XML，包含二进制数据、历史元数据和大量不适合语言建模的实现细节。作者实现双向 transpiler，把 SBS 转为按拓扑顺序排列的 YAML 风格 CompactSBS，再把生成结果转回 SBS 执行。论文声称完整保留 Substance 图功能，程序平均缩短超过 80%。论文第 5 节

# 结构示意，并非逐字复制论文附录
s7:
  function: multi_directional_warp_grayscale
  connections:
    input: { node: s4, id: output }
    intensity_input: { node: s5, id: output }
  outputs:
    output: grayscale

s10:
  function: safe_transform_grayscale
  dependency: sbs://safe_transform.sbs
  connections:
    input: { node: s9, id: output }
  params:
    absolute: { rotation: 0.25, tile: uU_vV }

文本、视觉与 mixed conditioning

论文实际上比较三种上下文表示强度：完整文本图，文本与节点预览交错，以及完整节点图截图。目标图像只负责给出“要生成什么”，而过程条件负责告诉模型“当前已经构造到哪里”。

mixed conditioning 中参数去了哪里

参数没有以文本字段继续输入模型。论文明确说，为限制图像 embedding 增加后的上下文长度，Mixed 版本省略参数，并认为参数效果被中间可视化隐式编码。这是一项强假设，因为不同参数可能产生近似预览，视觉状态不必然具有参数可辨识性。

Autoregressive graph generation 与 constrained tree search

模型按拓扑顺序一次生成一个节点定义 \(v_{t+1}\)，其中包括节点类型、参数和连接。每个新节点只能连接到已经存在的节点，天然避免前向引用。两种多模态版本仍是自回归语言模型，以 token 级交叉熵训练：

其中 \(v_{t,s}\) 是第 \(t\) 个节点 CompactSBS 表示中的第 \(s\) 个目标 token，\(v_{t,{\lt s}}\) 是该节点内此前 token，\(x\) 是外部条件。无条件生成时 \(x\) 为空或由 beginning of sequence token 启动，条件生成时 \(x\) 是参考渲染图。

execution state 与 backtracking

可把执行状态写为 \(S_t=(G_t,I_t)\)。若转译和材质执行成功，新节点进入 \(G_{t+1}\)，预览进入 \(I_{t+1}\)。若出现语法错误、语义错误或执行失败，当前候选被丢弃并重采样。重复失败时，回溯深度按指数增长：

第一次回退 1 个节点，第二次回退 2 个，第三次回退 4 个。其含义是：持续局部失败可能源于更早的结构决定，因此搜索需要返回更深的祖先状态。论文称其为 constrained tree search，约束主要来自 CompactSBS 转译器、图静态规则和材质引擎的可执行性，而不是来自目标外观 reward。

自动修复

系统会删除节点类型不支持的多余参数，并在 color 到 grayscale 的连接中插入灰度转换节点，在 grayscale 到 color 的连接中插入 gradient map。修复不会反馈给模型，因此后续上下文可能显示已修复后的执行图，但模型并未得到明确的错误解释。

数据构造、训练与实现细节

作者从 Adobe Substance 3D Assets Repository 收集生产级材质，并排除许可不适合训练的 Community Assets。预处理向五类 PBR 输出反向追踪：base color、normal、roughness、metallic 与 height。未连接组件和其他输出图被裁掉，包含 bitmap 或 SVG 的图被排除，超过 128 节点的图被过滤，嵌套子图和自定义依赖被展开。

实验设计与结果

Baselines 与公平性

由于原始 VLMaterial 面向 Blender，作者在同一 SBS 数据上重训 VLMaterial 风格基线。无条件设置中，文本基线使用 Qwen3 8B，两个 MultiMat 版本使用 Qwen2.5 VL 7B。条件设置中，因为需要视觉输入，所有模型均基于 Qwen2.5 VL 7B。GPT 4o 与 Claude 4 未纳入，理由是它们不熟悉 CompactSBS 且无法稳定产生有效 SBS。

DiffMat 参数优化

MultiMat 先生成离散图结构和初始参数，DiffMat 随后把可微节点参数视为优化变量，通过可微执行让渲染结果逼近输入图像。优化版记为 MultiMat+。论文只明确“使用 DiffMat 做 gradient based optimization”，没有给出参数选择范围、迭代次数、学习率、损失权重或停止条件。

上式是对论文优化意图的抽象，不是论文原文给出的完整目标函数。结果上，Graph 的 DSim 从 36.609 提升到 40.367，Mixed 从 34.922 提升到 40.258，文本基线几乎不变。作者据此判断，结构越接近正确答案，连续参数优化越有效。与此同时，所有优化版本的 KID 显著上升，说明面向单个输入的拟合与整体生成分布质量并不一致。

Human evaluation

作者在 33 个高难度输入上评估，每个模型对每张图生成 \(N=40\) 个程序，再以 DreamSim 选出最好候选。8 名具程序化材质经验的专家比较三模型结果。Graph+ 对 VLMaterial+ 的偏好率为 81.1%，Mixed+ 对 VLMaterial+ 为 83.3%，Graph+ 对 Mixed+ 为 58.3%。

关键 Figure 与 Table 解读

局限、失败模式与 reviewer 式锐评

论文明确承认

• 逐节点构造视觉上下文使训练样本膨胀，MultiMat 在 8 × A100 80GB 上训练数日，文本基线仅数小时。
• 图数据仍然稀缺，作者未来计划用无条件模型生成图，再渲染得到合成监督数据。
• Graph 版本容易因图内文字产生 OCR 类节点名和 function type 错误。
• 复杂精细 pattern 的重建仍明显失败。

审稿视角

与 Procedural Material Generation、Context Optimization、Agent 的关系

当前研究框架

下面两式是本课题的研究框架，不是 MultiMat 的原始贡献。MultiMat 最接近其中“以图可视化组织上下文”和“Agent 调用 Renderer 获得执行状态”的部分，但它没有显式求解最优上下文 (C^{\ast})。

对 context optimized agentic procedural material generation 的具体启示

1. 把上下文优化器做成可学习模块。 候选表示至少包括原图、多尺度分解、材质区域分割、频谱与方向特征、当前节点图、节点预览和错误历史。目标不是简单堆叠，而是在固定 token 预算内选择最有决策价值的证据。
2. 保留精确符号通道与视觉通道。 Graph 的 OCR 失败说明纯截图会损失节点名、端口类型和参数。可采用双轨 context：结构以 typed graph serialization 输入，外观以节点预览输入。
3. 让 rendering feedback 进入搜索分数。 有效性验证只淘汰不能执行的候选。下一步应以结构有效性、局部视觉增益、全局相似度、复杂度和编辑性组成多目标 reward。
4. 从回溯升级为预算感知 agentic search。 记录每个动作的渲染变化和失败原因，以 best first search、MCTS 或 learned value function 分配分支预算。
5. 建立中间表示的专门实验。 对比直接图生成、语义层次分解、材质层分解、频率分解与节点草图，控制相同 base model、token 预算和推理采样数。

复现清单

References

1. Jonas Belouadi, Tamy Boubekeur, Adrien Kaiser. MultiMat: Multimodal Program Synthesis for Procedural Materials using Large Multimodal Models. arXiv:2509.22151v2, 2026.
2. ICLR. MultiMat, ICLR 2026 Conference Proceedings. 2026.
3. Adobe Research. MultiMat publication record. 2026.
4. Liang Shi et al. MATch: Differentiable Material Graphs for Procedural Material Capture. ACM TOG, 2020.
5. Beichen Li, Liang Shi, Wojciech Matusik. End to End Procedural Material Capture with Proxy Free Mixed Integer Optimization. ACM TOG, 2023.
6. MIT CSAIL. DiffMat official repository. Accessed 2026.
7. Shuai Bai et al. Qwen2.5 VL Technical Report. arXiv:2502.13923, 2025.
8. Adobe. Substance 3D Assets. Accessed 2026.

证据范围：以论文 v2 PDF、arXiv HTML、ICLR Proceedings、Adobe Research 记录与 DiffMat 官方仓库为主。网页中的“论文结论”“分析判断”“研究建议”使用不同颜色和措辞区分。数值均按论文表格转录，缺失的实现参数明确标为未报告。