VLMaterial

一句话结论与真正贡献

VLMaterial 的关键不是提出新的程序化材质图语法，而是把 Blender 节点图转译成普通 Python 程序，以 LLaVA-NeXT 8B 进行 image-to-code 微调，并用“多次采样、执行过滤、渲染排序、参数后优化”把不可靠的自回归代码生成转化为可用系统。

事实来源：论文 Section 4、Section 5 与 官方 README。

问题定义与 image-to-program 表示

程序化材质 \(M\) 被视为有向无环计算图 \(G=(\mathcal{V},\mathcal{E})\)。节点 \(v\in\mathcal{V}\) 是纹理生成器、滤波器、转换器或着色器，边 \(e\in\mathcal{E}\) 描述输出 socket 到输入 socket 的数据流。每个节点还带有异构参数集合 \(\phi=(p_{1},p_{2},\ldots)\)，参数既可能连续，也可能是整数、类别或布尔值。

作者没有直接让模型生成抽象图 token。它把清理后的 Blender 节点图确定性转译成 `shader_material(material)` Python 函数，函数依次创建节点、连接边并赋值参数。执行程序后，Blender API 重建可编辑节点图。因而模型学习的目标是：

其中 \(I\) 为参考图像，\(q\) 为固定简短指令，\(y=(y_{1},\ldots,y_{T})\) 为 Python 程序 token。训练使用标准 causal language modeling，输入图像与 user prompt 部分的 label 被置为 ignore index，仅对 assistant 程序 token 计算损失。该实现可由 dataset.py 核对。

模型与完整算法流程

VLM 结构

基础模型是 Hugging Face 的 `llava-hf/llama3-llava-next-8b-hf`。视觉编码器为 CLIP ViT/L-14，视觉投影器为 MLP，语言解码器为 LLaMA 3 8B。视觉编码器保持冻结，MLP projector 参与训练，LoRA 被应用于 language model 内除 vision tower、projector 与 LM head 以外的线性层。论文概括为“all attention-related linear layers”，代码的匹配规则实际覆盖语言模型内符合条件的 linear module 名称，见 model.py。

参数后优化

VLM 先给出拓扑与初始参数 \(\tilde M(\Phi)\)。作者随后仅修改参数，不改节点图结构。每轮随机扰动一部分参数并渲染，若新损失更小则接受，否则以固定概率 \(p_{\mathrm{acc}}=0.05\) 接受。保留全程最优解：

默认进行 200 次迭代，每轮仅抽取 10% 可优化参数。连续参数相对区间收窄至初值附近 \(\pm 20\%\)，类别参数的修改概率为 0.2。这里被称为 MCMC，但接受差解的概率与损失差和温度无关，更接近带随机逃逸的 hill climbing，而非标准 Metropolis-Hastings。

数据构造与验证链

原始数据来源

清理与过滤

1. 从 material output node 反向执行 DFS，仅保留真正参与输出外观计算的节点和边。
2. 无有效 output node 或节点数超过 30 的材质直接删除。
3. node group 先被视作按功能签名区分的自定义节点类型，再从较小 group 开始逐步展开，直到接近 30 节点上限，以减少自定义类型数量。
4. 节点图转译为 Python 并执行渲染。LLaMA 3 tokenizer 长度超过 2,048 的程序删除。
5. 过滤空图、纯色和缺乏空间变化的结果。具体启发式是 512 像素 JPEG 文件小于 12 KB 即删除。

结构增强：LLM genetic crossover

作者从 1,640 个清理后材质中人工选出 870 个细节丰富的复杂材质作为 sample pool。每次随机抽取两个程序，要求 GPT-4o-mini 只使用两者已有的节点类型与参数字段，写一个最多 30 节点的新程序。每对程序最多尝试 20 次，收集前 4 个有效程序，执行与渲染通过后再放回 pool。迭代后获得 50.4K 个不同结构。

参数增强

每个结构继续生成约 10 倍外观变体。连续参数默认在可行域与初值 \(\pm 25\%\) 的交集内采样，最小绝对扰动范围为 \(\pm 0.05\)。颜色在 HSV 空间采样，hue 覆盖完整 \([0,1]\)，saturation 与 value 在 \(\pm 0.5\) 邻域。类别与布尔参数以 0.25 概率重新均匀取值。默认值参数仅以 0.2 概率显式扰动，以控制程序长度。

来源：论文 Section 4.1、4.2、Appendix A.1；官方代码 sample_params.py 与 package_data.py。

训练细节与解码策略

训练 prompt

<image>
Write a Python function with Blender API to create a material
node graph for this image.

训练 prompt 很短。复杂 API 约束主要已经固化在 target program 与数据分布内，并未作为长 context 提供给微调模型。零样本 GPT-4o-mini baseline 则使用更长 prompt，其中给出函数模板、30 节点限制、Blender 3.3 兼容要求和只回复代码的规则。

推理解码

官方脚本使用 sampling，temperature 0.6、top-k 50、top-p 0.9，`max_new_tokens=2048`。程序批量生成后先写入 response 文本，再由独立 rendering 脚本逐个验证。默认 `inference.py` 参数是 temperature 1.0、top-k 10、top-p 0.9，但论文对应 shell script 覆盖了前两项。

候选集 \(\mathcal{Y}_{\mathrm{valid}}\) 来自最多 \(N\) 次随机解码中通过执行与 12 KB 过滤的前 \(K\) 个程序。标准实验使用 \(N=50,K=20\)，受限预算实验使用 \(N=20,K=4\)。因此这里的“解码策略”实质是 stochastic best-of-K execution-guided decoding。

执行、渲染与 correctness

程序先从模型回复中的三反引号代码块抽取，写入临时 Python 文件，再以 Blender batch mode 调用 `render.py`。执行超时为 120 秒。若 stdout 出现 Python error、未生成输出文件，或渲染 JPEG 小于 12 KB，则判为无效。

程序正确率定义为有效样本比例。若某输入共尝试 \(n\le N\) 次，得到 \(k\le K\) 个有效程序：

感知排序损失

style loss 使用 VGG texture descriptor 的 Gram representation 做 L1 距离，再加入权重 0.1 的 16 × 16 下采样图像 L1 项。代码通过 32 × 32 average pooling 将 512 图像得到 16 × 16 表示：

实验设计与主要结果

测试包含 44 个 Blender 合成材质，64 个 Substance 合成材质和 64 张手机拍摄真实图像。Blender 是 in-distribution，Substance 与真实图像是 out-of-distribution。Substance 的节点系统表达能力更强，因此其合成外观也被作者视为更困难的分布外测试。

Table 1：标准预算，未使用 post-optimization

说明：论文文字称方法在全部三个数据集上优于 baselines，但按 Table 1 的单项数值，真实图像 style loss 为 0.025，Nearest Neighbor 为更低的 0.021。更准确的表述是 VLMaterial 在真实集的 SWD 与 CLIP 最优，但 style loss 不是最优。

Table 2：消融

结构增强贡献最大，尤其显著提高分布外 correctness。参数增强继续改善颜色与局部外观。MCMC 后优化强烈降低 style loss 与 SWD，但 CLIP 并非总是提高，Blender 从 0.856 降至 0.851，Substance 从 0.762 降至 0.748。这说明优化目标与语义指标并不完全一致。

速度与人类评价

用户研究有 8 名专业艺术家与 8 名领域研究者，共 16 人，比较 12 个案例。VLMaterial 相对 BlenderAlchemy 的视觉质量平均偏好为 91%，节点图质量偏好为 94%。可用性评分为 \(6.8\pm1.3\)，BlenderAlchemy 为 \(4.2\pm1.7\)。但研究没有给出 inter-rater reliability、显著性检验，也没有比较人工从零创作时间。

关键 Figure 与 Table 的结构化解读

官方仓库可复现性核查

仓库包含数据清理、转译、GPT 程序增强、参数增强、划分打包、LLaVA 微调、候选生成、Blender 渲染验证和 MCMC 后优化。数据归档与预训练权重均提供 Google Drive 链接。代码与权重为 MIT License，数据为 CC BY-NC 4.0。

• 已公开 完整训练与推理代码，固定基础模型名，环境版本，LoRA、DeepSpeed 与解码参数。
• 已公开 数据与 checkpoint 下载链接，原始材质到训练 JSON 的构造脚本。
• 已公开 Blender 3.3、EEVEE、512 渲染、相机与灯光参数、12 KB 有效性阈值。
• 部分公开 原始在线材质来源可追溯，但具体抓取清单、下载日期、源许可证逐项记录未见统一 manifest。
• 部分公开 GPT-4o-mini prompt 与默认模型 ID 已公开，但 API snapshot、服务端 seed、采样参数未固定，结构增强无法逐字节重现。
• 未报告 训练总 step 数、validation loss、checkpoint 选择规则、完整随机种子链、训练实际峰值显存与总算力成本。
• 存在问题 README 生成 `llava_sllm_p10_{train|val|test}.json`，训练和推理 shell 脚本却引用 `llava_noaug_{train|val|test}.json`。使用者需手动核对并修正文件名。

实际复现资源

论文训练使用 8 张 H100 80GB，batch 32，5 epochs，约三天。README 建议微调时每张 GPU 至少 48GB VRAM，并说明默认脚本针对 8 张 H100。数据构造与渲染阶段论文使用 8 张 L4 24GB，仓库特别提示 EEVEE/OpenGL 渲染在 RTX 3090、RTX A6000、L4 等图形架构 GPU 上可能快于 A100 或 H100。

conda env create -f environment.yml
conda activate vlmaterial
bash llava_hf/scripts/peft_sllm_p10.sh
bash llava_hf/scripts/eval_sllm_p10.sh
bash llava_hf/scripts/render_sllm_p10.sh
python llava_hf/param_search.py RESULTS --max_iter 200

仓库快照：commit 5193dad，2025-02-18，Initial commit。README 明确称仓库是 archival reference，贡献不会被积极 review 或 merge。

局限、失败模式与 reviewer 式锐评

值得肯定

• 把开放 Blender API 与 VLM code prior 结合，绕开 proprietary Substance training data 的发布限制。
• 结构增强不是简单参数抖动，对 correctness 与外观匹配均有清晰消融支持。
• 评估同时覆盖 in-distribution、跨系统合成图与真实照片，并报告程序执行率和艺术家偏好。
• 释放端到端数据构造工具，复现信息显著优于只开放 inference demo 的工作。

关键质疑

1. 结果依赖大采样预算。 主表每张图最多生成 50 次，并取前 20 个有效程序中的最优者。一次生成的期望质量没有单独报告，方法的模型能力与 search compute 难以分离。
2. 有效性定义偏弱。 correctness 只要求可执行且 JPEG 足够大，不验证是否有可编辑意义、是否 tileable、是否正确输出 PBR 通道，也不比较拓扑语义。
3. 渲染域过窄。 固定平面、固定点光与固定相机易让模型学习 baked illumination。真实输入中的几何、光照与材质属性没有解耦。
4. 表示不够紧凑。 论文自己承认 Python 冗长。没有 grammar constraint，使超过 22 节点或 2,000 token 的程序正确率下降。
5. 数据增强的独立创新不纯。 结构数据由 GPT-4o-mini 合成，质量过滤又依赖同一套执行与 JPEG 规则。缺乏结构新颖性、重复率和 human quality audit 的系统统计。
6. 比较公平性有限。 Conditional MatFormer 来自不同程序系统，且由原作者代跑；BlenderAlchemy 以 nearest neighbor 为起点且使用 GPT-4o-mini。节点词表、训练数据和计算预算并不等价。
7. 后优化不是结构闭环。 MCMC 只能调参数，初始拓扑错了就无法增加或重连节点。style loss 提升也不保证 CLIP 或语义提升。
8. 论文文字略有过度概括。 “全部数据集优于 baselines”不符合真实图像 style loss 单项，Nearest Neighbor 的 0.021 优于 0.025。

与三条研究线的关系

对照关系非常清楚：VLMaterial 将图像直接编码成视觉 token，靠模型参数隐式决定该看什么；拟研究系统先构造可审计的 \(C^{\ast}\)，再让 agent 基于 renderer feedback 迭代选择结构与参数。前者是 amortized generation 加后验筛选，后者应是 context-conditioned sequential decision making。

对 context-optimized agentic PMG 的具体启示

建议的 context representation

不要只生成自然语言描述。让 context optimizer 输出与材质程序可对齐的层级对象，使每个视觉判断都能映射到 agent action：

material_context:
  global: {periodicity, dominant_scale, palette, reflectance_family}
  macro_structure: [{region, primitive, orientation, spacing, hierarchy}]
  meso_pattern: [{generator_family, warp, blend_logic, mask_relation}]
  micro_surface: [{noise_family, frequency_band, roughness_effect, normal_effect}]
  channel_hypotheses: {base_color, roughness, normal, height, metallic}
  node_candidates: [{node_type, role, confidence, evidence}]
  constraints: {node_budget, token_budget, tileable, allowed_node_library}
  uncertainty: [{claim, alternatives, confidence}]

这比单纯“先观察大结构，再观察小纹理”的 prompt 更适合作为学术中间表示，因为可以做标注、消融、结构准确率评价、token budget 控制和 agent 行为归因。

建议的 agent loop

1. Context Optimizer 解析参考图像，输出结构化 (C_{0})。
2. Retriever 根据 (C_{0}) 从节点库、程序片段库和相似材质库选择有限候选。
3. Agent 先生成粗结构 (G_{0})，执行静态类型检查与 Blender sandbox。
4. Renderer 输出多种光照下的 base color、roughness、normal 与 shaded render，而非仅固定 point light 图像。
5. Critic 将误差分解为 topology error、parameter error、lighting ambiguity 与 representation insufficiency。
6. Agent 根据 error type 选择改结构、调参数、补 context 或停止，并保存完整 process trace。

推荐消融矩阵

Reward 设计

appearance 可组合 style、SWD、CLIP 与多通道误差；valid 奖励编译、执行、非退化和 tileability；graph 奖励结构合理性与节点复用；edit 衡量专业用户修改成本；compute 惩罚 token、生成次数、渲染次数与耗时。只用图像相似度会鼓励复杂但不可编辑的程序，也会继承 VLMaterial 固定渲染域的偏差。

References

1. Li, B. et al. VLMaterial: Procedural Material Generation with Large Vision-Language Models. arXiv:2501.18623v2, 2025. PDF · HTML.
2. Li, B. et al. ICLR 2025 OpenReview record. The Thirteenth International Conference on Learning Representations, Spotlight.
3. MIT GFX. VLMaterial official code repository. Commit 5193dad, 2025-02-18.
4. MIT GFX. README and reproduction instructions. Includes data and checkpoint links, installation, training, inference and dataset construction.
5. MIT GFX. model.py, dataset.py, inference.py. Model construction, causal labels, decoding and execution verification.
6. MIT GFX. gen_programs_llm_async.py, sample_params.py, render.py. Augmentation, parameter sampling and rendering implementation.
7. Guerrero, P. et al. MatFormer: A Generative Model for Procedural Materials. 2022.
8. Hu, Y. et al. Generating Procedural Materials from Text or Image Prompts. SIGGRAPH 2023.
9. Huang, I. et al. BlenderAlchemy: Editing 3D Graphics with Vision-Language Models. 2024.
10. Li, B. et al. Procedural Material Generation with Reinforcement Learning. ACM TOG, SIGGRAPH Asia 2024.

资料状态：论文 v2、Appendix、官方代码仓库与 README 已核对。OpenReview 页面可能触发浏览器验证，因此本页只使用其 venue 记录，不引用不可直接核验的 review 文本。所有未在论文或公开代码中找到的数值均明确标为未报告。