BlenderGym 精读
以及 PMG Evaluation Benchmark 应该怎么做

先给结论

BlenderGym 最值得借鉴的地方，不是它收集了多少数据，而是它把“graphics editing 能力”变成了一套可以重复测量的实验装置。对你们的 PMG evaluation benchmark 来说，最重要的也不是再造一个材质数据集，而是定义清楚：什么叫一个“好的 procedural material generation system”，以及怎样让不同路线在同一协议下被公平比较。

BlenderGym 到底在解决什么问题

论文的出发点非常标准，也是 benchmark paper 可以直接学习的写法。作者认为已有 graphics editing 工作虽然各自展示了效果，但缺少统一 benchmark，因此不同方法难以横向比较。同时，graphics editing 没有类似数学题那样的单一标准答案，完全依赖人工评估代价高，而 AI judge 又存在可靠性和自评偏差问题。

245 个实例，覆盖 5 类任务

每个 benchmark instance 不是一张图片，而是一套完整状态

BlenderGym 的 evaluation protocol

指标不是一套打天下，而是按任务选

N-CLIP 定义为 \(1-\mathrm{CLIPSimilarity}\)，这样它与 photometric loss 和 Chamfer distance 一样，数值越低表示越接近目标。

为什么还需要 Human Baseline

作者找了 10 名普通 Blender 用户，让他们完成大约 20% 的 benchmark 实例，每个实例限时 8 分钟，并使用与模型完全相同的自动指标评价。这里 human baseline 有两个作用：证明 benchmark 本身可解，同时告诉读者当前模型离正常 Blender 用户还有多远。

实验为什么不只是 leaderboard

BlenderGym 的论文价值很大一部分来自“用 benchmark 做分析”。作者不仅跑模型，还把系统拆成 generator 和 verifier，研究失败在哪里，以及 inference compute 应该花在哪里。

代表性结果

表中数值沿用论文的展示尺度，只用于说明人类与模型之间的巨大差距。不同 task 的 PL 数值尺度并不适合直接横向比较。

Generator failure taxonomy

Verifier 也会错，而且可以单独 benchmark

论文收集了 7,950 个 pairwise judgments，并用 50 位参与者评价候选图像。即便最佳的 VLM verifier，与 human 的选择一致率仍明显低于 inter-human alignment。这一步很关键，因为它证明 verifier 不是一个理想 oracle。

然后用 benchmark 提出新的科学问题

作者对 verifier 做 inference scaling：固定候选编辑树，多次 shuffle 并重新选择，再从多个 winner 中继续选择最终候选。随着 verification queries 增加，选出的结果更接近目标。随后论文进一步研究 generation 与 verification 的计算预算分配，发现当总计算预算增加时，更高比例的 verification compute 更有效。

一篇 benchmark paper 到底要怎么写

Benchmark 论文与 method paper 的根本区别是：method paper 主要证明“我的算法更好”，benchmark paper 主要证明“我定义的测量问题重要，而且我设计的测量工具有效、可靠、能产生新的研究洞见”。

写 Introduction 时可以使用的逻辑骨架

我们应该怎么做 PMG Evaluation Benchmark

我更建议把它设计成一个 system benchmark，而不是只针对某一种模型输出格式。内部使用统一 canonical material IR，外部允许 Blender、Substance Designer 或自定义程序作为 backend。

第一层：定义 PMG system 的能力空间

第二层：做成 7 个 tracks

第三层：Difficulty 不要只按 node count

建议 difficulty 同时基于 5 个因素标注：

PMG benchmark 最关键的是指标体系

建议不要把所有东西压成一个总分。首先公布多维 score vector。若 leaderboard 需要总分，可以在满足可执行性硬门槛之后再给 normalized composite。

建议的 8 个评价轴

我最建议加入的新指标：Functional Equivalence under Intervention

Exact graph similarity 对 PMG 不公平，因为两个完全不同的 graph 可以得到相似外观。更合理的方法是测试“这个程序在被控制时，行为是否正确”。

给每个 benchmark case 定义一组语义干预 \(a \in \mathcal{A}\)，例如 pattern scale、roughness、color、density、seed。分别作用到 reference graph 和 generated graph，然后比较干预后的输出：

\[ D_{\mathrm{func}}(\hat G,G) = \mathbb{E}_{a\sim \mathcal{A}} \left[ d\left( R(\hat G,a), R(G,a) \right) \right] \]

这里 \(R\) 是统一 renderer，\(d\) 可以是 perceptual distance 或 map-level distance。它测到的不是“代码像不像”，而是“程序行为像不像”。这会比 graph edit distance 更接近 procedural material 的本质。

编辑任务可以定义成两个分数

这样可以区分“把目标改对了，但整个材质也毁了”和“做了精准局部编辑”这两类系统。

如果现在就开始做，我建议的实验路线

Baseline 组合建议

你们现在的 Context Optimization 方向可以直接嵌入 benchmark

一版可以直接写论文的方法章节结构

建议的主结果表

建议的 Ablation 表

我认为最值得优先验证的论文假设

References

1. Gu, Y. et al. BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing. CVPR 2025. arXiv · Project.
2. Li, B. et al. VLMaterial: Procedural Material Generation with Large Vision-Language Models. ICLR 2025. arXiv.
3. Hu, Y. et al. Generating Procedural Materials from Text or Image Prompts. SIGGRAPH 2023. arXiv.
4. Li, B. et al. Procedural Material Generation with Reinforcement Learning. SIGGRAPH Asia 2024. Project.
5. Guerrero, P. et al. MatFormer: A Generative Model for Procedural Materials. SIGGRAPH 2022. Project.
6. Shi, L. et al. MATch: Differentiable Material Graphs for Procedural Material Capture. SIGGRAPH Asia 2020. Project.
7. Belouadi, J. et al. MultiMat: Multimodal Program Synthesis for Procedural Materials using Large Multimodal Models. ICLR 2026. ICLR.
8. Gupta, K. et al. Material Apprentice: Reflecting Process Expertise in Procedural Material Generation. ECCV 2026. Project.

说明：本文把 BlenderGym 的主文、supplementary 和项目页作为主要事实来源。PMG-Bench 部分是基于现有 PMG evaluation 现状提出的研究设计建议，不是 BlenderGym 原文内容。