MatLoom

MatLoom 的关键不是“让 LLM 写更长的 shader”，而是给它一个更小、更明确的可执行空间：共享二维场 → 有序 alpha 图层 → PBR maps。推理阶段先改设计，再在固定设计内挑噪声实现。程序与外观一起成为最终资产。

研究空白不应写成“此前无法文本生成可编辑材质”。更精确的问题是：这个受限输出空间，能否让未经任务微调的模型产生足够好的外观，同时保留有用的构造关系？

输入是自然语言材质描述 \(t\)。输出首先是可解析程序 \(P\)，随后由执行器在采样窗口上评估成多通道 maps，再交给渲染器。这里的“latent”不是学习到的向量空间：论文直接在符号程序结构、数值参数和 seed 组成的空间中搜索。

固定词汇表：适合哪类结构？

fBm 提供多频随机细节；Worley 提供胞元、脊线与裂缝；Bricks / Weave 提供确定的周期格点；Rect、Ellipse、Path 经 Fill 或 Stroke 转成 mask；Translate、Scale、Rotate 改写采样坐标。算术和 Threshold 把这些元素拼起来。没有通用三维几何建模、任意 shader closure 或无限节点目录。

对二值 masks，并、交、补、差可分别写为 \(\max(a,b)\)、\(\min(a,b)\)、\(1-a\)、\(a(1-b)\)。软 mask 的数值行为需要另行理解，不能直接套用集合语义。周期原语只能在兼容周期上 tile；任意程序加任意 View 并不保证无缝。

program  = [ view ], { define }, material
view     = View(x1, y1, x2, y2)
define   = Define(name, expression)
material = Material(layer, ...)
layer    = Layer(coverage).channel(expression)...

所有下式都在同一像素位置 \(u\) 上计算，省略 \(u\)。令第 1 层在最底部，\(n\) 为总层数。上层的遮挡决定第 \(i\) 层还剩多少可见权重：

\(V_i\) 是该层未被上层覆盖的份额；\(\alpha\) 是整个堆栈的总 coverage。对有限标量通道 \(x_i\)，原 Eq. (1) 为：

因为 \(\sum_i V_i=\alpha\)，除去透明部分后，这是各层值的凸组合。全透明点返回零，不能直接除以零。RGB 先转换到 linear light 再混合，最后映射回颜色输出；直接平均 sRGB 数值不是同一操作。

Implementation Audit normal 从中心差分近似的高度梯度构造 \(\mathbf n\propto(-\partial H/\partial x,-\partial H/\partial y,1)\)，归一化后按 OpenGL/+Y 约定导出。AO 使用局部均值与本地高度差的 cavity-darkening 近似，默认 radius 为 8 texels，非真实光线追踪遮蔽。窗口和分辨率共同影响坡度。normal / AO

没有被优化的训练目标

这里没有 MatLoom 专属的可微训练 loss，也没有把 renderer 梯度反传到 LLM。训练后的模型权重保持不变；Parser 提供离散错误反馈，critic 提供语言反馈，MobileCLIP2 提供排序分数，最终在程序候选集合上做选择。

把程序分成固定结构 \(G\) 与数值/seed 坐标 \(z\)，第 \(k\) 个导出通道写成 \(F_k(u;G,z)\)。\(D_k\) 是它的传递源码依赖包含的参数集合，必须包含合成时用到的 coverage 依赖。原 Eq. (2) 说：

前提是 engine 版本、设置、采样坐标固定，求值有限且确定。它是程序依赖关系的直接结果：若通道没读到任何改变的输入，输出就相同。它没有声称用户语义一定被准确分解，或屏幕上变化只发生在局部。

View(0, 0, 2, 2)
Define(tileMask, Bricks(brick_width=0.48, brick_height=0.48, offset=0, mortar=0.02, feather=0.008))
Define(glazeRipple, fBm(octaves=3, base_freq=7, to_01=True, seed=1145088217))
Define(glazeGrain, fBm(octaves=5, base_freq=35, to_01=True, seed=1007923142))
Define(groutNoise, fBm(octaves=4, base_freq=30, to_01=True, seed=891377204))
Material(
  Layer(1)
    .basecolor((40 + (groutNoise * 12)), (42 + (groutNoise * 12)), (45 + (groutNoise * 12)))
    .roughness((0.85 + (groutNoise * 0.1)))
    .height(0),
  Layer(tileMask)
    .basecolor((12 + (glazeRipple * 6)), (13 + (glazeRipple * 6)), (16 + (glazeRipple * 6)))
    .roughness((0.04 + (glazeGrain * 0.05)))
    .coat(0.95)
    .ior(1.53)
    .height(((tileMask * 0.016) + ((tileMask * glazeRipple) * 0.0012)))
)

Original · 原始程序

Higher roughness · 0.04 → 0.75

Wider grout · 0.02 → 0.06

Blue glaze · RGB offsets (25,75,140)

执行成功、数值有效、视觉可信、跨引擎一致、用户编辑正确，是五个不同命题。MatLoom 的 parser 是第一道门，而不是完整 verifier。

MatLoom 是由 harness 固定编排的生成—执行—反馈循环。LLM 没有任意控制 Blender 或动态发明工具；它的 action 主要是返回程序或修订程序。解析、预览、统计、排序、seed 重写与终止预算由 Python orchestration 决定。

flowchart TD
    T["用户文字 + DSL 规范 + 6 个示例 + playbook"]
    G["Generator：产生 material 程序"]
    P["Parser：语法 / 引用 / 构造器检查"]
    R["最多 3 次纠错响应"]
    C["Canonicalize：所有 noise seed 显式化"]
    O["512² preview + 128² 通道统计 + source"]
    K["Fresh critic：score / differences / suggestions"]
    U["原 author 对话追加反馈并 revision"]
    S["6 个轨迹程序：q512 选择 j"]
    V["去重候选：P0、Pj、P5"]
    W["各保留原程序 + 1000 个 seed 变体；q256"]
    B["最佳 P*：固定源程序资产"]
    E["环外：Blender Flat / Staged + 4 个对齐指标"]
    T --> G
    G --> P
    P -->|错误| R
    R --> G
    P -->|通过| C
    C --> O
    O --> K
    K -->|前 5 次| U
    U --> P
    K -->|末次不再修订| S
    S --> V
    V --> W
    W --> B
    B --> E

原 Figure 3 · authoring 概览

Stage I：产生可执行初稿

system context 包含角色、DSL reference、六个例子、organic-texture playbook，要求单个 material block。Parser 拒绝时把错误文字送回 author，至多三次 corrective response；这不是三轮视觉优化。成功后 canonicalize，补全随机 seed，得到 \(P_0\)。

Stage II：改变“设计”

每个 \(P_d\) 都可生成 preview、统计与源码输入给 fresh critic。critic 默认与 author 同 backbone 和 sampling settings。author 收到原 prompt 与 critique 后修订，提示要求未变层连 seed 一起逐字保留。五次 revision 形成六个程序；六次 critique 的最后一次不再触发 revision。

Stage III：从设计中挑“实现”

令 \(q_r(P,t)\) 为程序的 \(r\times r\) quick render 与文本 “A photo of t” 的 MobileCLIP2 分数。先在 512² 预览上选轨迹位置，平分时取最早：

此式是原文算法的明确写法。每个候选 \(P_d\) 的 \(\mathcal S_K(P_d)\) 包含原程序及 \(K=1000\) 个仅替换 seed 的变体。所有相同 seed 引用同步替换，非 seed 文本保持。用 256² preview 选最终程序：

无 seed literal 的候选不会产生新 seed 变体，搜索退化为原程序。具体预算还受候选去重影响。同一 run 中 winning design 可以来自初稿、被选中的中间轮或最后一轮。因此它不只是“给最后程序换 seed”。从 512² 到 256² 也改变输入图，两个 proxy 的排序不必一致。

公开材料提供了实际 operational specification、六个 few-shot、critic schema 与 revision instruction。它们不是训练样本，而是每次 authoring 的上下文。本文不把 prompt 设计包装成新增模型架构。

数据与 run 单位

141 个 prompt 来自 Hu et al. (2023) 类别（30）、MatSynth 描述（11）、StableMaterials（50）、text2fabric（50）。超过 50 条的来源用 sentence-embedding space 的 farthest-point sampling 压缩到 50，选定列表固定用于所有方法。包含 figurative 与高度具体的 motif，因而测试了受限词汇的边界。

没有 MatLoom train/validation split、optimizer、learning rate、batch size、epoch 或 LoRA：该方法无任务专用训练。六个 pretrained backbone 直接推理，procedural seeds 为 42、123、2026，每个 backbone 每个 prompt 三个记录 run。模型名中看似参数量的字符串不应被当作论文核实的架构规格。

同场景，不等于同通道路由

全部系统导出 512×512 maps，用同一 Blender 场景评估 Flat 和 Staged。但 MatLoom 的 height 接 geometric displacement；StableMaterials 的 height 接 bump；MatFuse 与 IntrinsiX 无 height；例子中的 transmission 只由 MatLoom 提供。Staged 更能展示 relief / transmission，也更受这些不等路由影响。

四个 alignment proxy 与一个独立质量诊断

统计单位与置信度

主均值先对同一 prompt 的三个 run 平均，再跨 141 个 prompt 平均。成对推断使用 per-prompt means、双侧 Wilcoxon signed-rank、10,000 次 percentile bootstrap。Holm correction 覆盖旗舰相对三 baseline 的 24 个对照（两布局 × 四指标 × 三 baseline）。旗舰在看完六 backbone 后选出，所以即便校正，论文仍将检验定位为探索性。

粗体为原表最优均值；虚线下划线为本页额外标出的第二高均值。默认保留原表全部方法、两种布局与四个指标，不删负面结果。

Alignment 与 image quality 的分叉

Table 14 的 Flat CLIP-IQA 最好的是 StableMaterials（52.17），旗舰为 47.21；Staged 最好的是 GLM 配置（30.12），旗舰为 24.63。这不是与主实验矛盾：它问的是未给 prompt 的图像质量，主实验问的是 prompt fidelity。

按 prompt 来源看，Judge 排名也会变

旗舰在四个来源的 BLIP / CLIP / VQA 均值都高于 StableMaterials，但 judge 在 Hu et al. 与 StableMaterials 来源更低；MatSynth 和 text2fabric 的 judge 优势较大。因此总体均值携带了 benchmark 组成信息，不能假设对任意材质请求同样有利。

初稿已达到 Flat BLIPScore 48.31，超过所有三个 diffusion baseline；后续过程不是把零能力“修成可用”。Round 0→5：BLIP +3.55，Judge +6.26，但 VQA −0.41。Selected 相对 Round 5 的 BLIP +2.31，Judge 却 −1.05（原 Table 6 基于未四舍五入分数报告 −1.04）。最终 67.01 的 Judge 仍低于 Round 5 的 67.61。

Selection 的 42.1% 胜率如何理解？

对 Flat BLIPScore，Selected 比 Last 胜 178/423（42.1%），负 137（32.4%），平 108（25.5%）。胜率低于 50% 并不代表大部分 run 变差，因为还有大量平局。每指标 Oracle 每次偷看外部评价来选不同程序，是可达上界，不是可部署 selector。

搜索预算回放：便宜的前缀能拿走多少 proxy gain？

CMA-ES 为什么没有成为主搜索？

探索性版本改连续 numeric literals，frequency 用 log space，channel 权重带 bounds，排除 View 与底层 alpha；\(\sigma_0=0.25\)，每候选 500 次评价。对于一个 red-brick prompt，匹配 500 budget 时 continuous search 的平均 proxy 增量 +1.6，大于 seed-only 的 +0.2，却有视觉结构变坏的例子；13 个候选中 3 个未提高起点分数。

独立 run 1 · proxy +2.0

独立 run 2 · proxy +3.7

独立 run 3 · proxy +0.7

Round 0

Round 1

Round 2

Round 3

Round 4

Round 5

Table 9 的 full reference 与其他 variants 存在 temperature 不匹配，而且每个 prompt 只有一次 GPT authoring run。其形式像 ablation，证据等级却是探索性 configuration comparison。成对 prompt 控制不了 sampling temperature 或 stochastic run variance。

30 位参与者、20 个 prompt（每来源 5 个）、80 张 seed-123 的 Flat renders。每题四个匿名结果以 2×2 展示，选择最符合描述的一张，并给每张图 1–7 分。MatLoom 在每个位置恰好出现五次；位置随 prompt 固定，不随参与者重新随机。trial order 对每人随机，分两组，中间有 attention check。

全部参与者通过 attention check，无排除，共 600 次选择。MatLoom 份额 59.2%，StableMaterials 19.3%，相差 39.9 个百分点；平均评分 4.98 对 3.60。原始 paired rating gap 为约 1.37，95% CI [1.15,1.61]；仅用表中四舍五入均值相减会得到 1.38。

prompt-level Wilcoxon p=4.4×10⁻⁴，participant-mean p=6.5×10⁻⁷。30 人都比偏好任一单一 baseline 更常选择 MatLoom，每人选中 8–17 次；20 个 prompt 中 13 个独占 plurality，另 1 个并列，17 个的平均评分高于 StableMaterials。

初稿中位 11 秒；每次 revision / critique 约 5–7 秒。slowest backbone 的 LLM calls 合计中位可达 910 秒。文中没有记录硬件与 scorer-device 规格，也没有 token usage；这组数字是系统内部的记录，不是与 diffusion 的公平速度 / 费用竞赛。

审计对象固定为官方仓库 commit 00d80e204497770dfbf545c5217c6971aa8db215。以下将论文实验设置、库默认行为、复现入口分开：存在参数不代表主实验用了它，README 的最小命令也不自动等于完整论文 pipeline。

View(0, 0, 2, 2)
Define(tile, Bricks(brick_width=0.48, brick_height=0.48, offset=0, mortar=0.02, feather=0.008))
Define(grain, fBm(octaves=3, base_freq=12, to_01=True, seed=17))
Material(
  Layer(1).basecolor(95, 100, 105).roughness(0.9).height(0),
  Layer(tile).basecolor(25, 75, 140).roughness(0.08 + grain*0.04).coat(0.9).height(tile*0.02)
)

1. 锁版本与环境。固定 paper v1、仓库 commit、依赖和 renderer settings；记录平台、设备、模型真实 endpoint/version、温度、所有 seeds。README 建议 Python 3.13；不要把 API model alias 当永久快照。
2. 只测本地 executor。用一个完全显式 seed 的最小程序先 export maps，检查 finite values、channel ranges 与 repeatability；这一步不需要 LLM API。
3. 分层验证三类图。分别保存 unlit maps、fixed-light preview、Blender Flat/Staged。统一 naming 与 hash，避免把 quick-score 改善误认为最终渲染改善。
4. 再跑单个 authoring trajectory。显式配置五次 revision、各 critic signal、selection 和 seed budget；保存原始响应、parse repair、canonical program、critic JSON、scorer 分数与时间。
5. 复做小规模 budget 对照。先比较 K=0/10/100/1000，固定 prompt 与模型；外部 evaluator 不参与搜索。检查 seed equality groups 与非 seed 文本确实不变。
6. 最后扩到 benchmark。确认 prompt list、三 seed labels、两布局、baselines map routing 全匹配。统计先聚合 run 再聚合 prompt，保留失败尝试而非只交付成功槽位。

无 API 的 engine smoke test

matloom-export --program "$(cat bricks.dsl)" --output-dir out/maps --width 256 --height 256
OPENCV_IO_ENABLE_OPENEXR=1 matloom-export --program "$(cat bricks.dsl)" --output-dir out/maps-exr --width 256 --height 256

命令来自官方 README：--program 接收程序文本，而非文件路径；默认 floating-point maps 写为 HDR，EXR 路径可保留负 height。这里展示操作步骤，并未实际运行。完整安装还有 Blender 与评价模型依赖，不能将 smoke test 当完整复现。

matloom-text2dsl --prompt "black shiny ceramic floor tiles" --model MODEL \
  --few-shot --playbook --parse-retries 3 --refine 5 \
  --critic-render --critic-code --critic-diagnostics --select-best \
  --polish --polish-seed-sweep 1000 --polish-cma-evals 0 \
  --polish-parallel-renders 0 --width 512 --height 512 --seed 123 \
  --output-dir out/authoring

需要向公开材料继续追索的缺项

• 原实验硬件、scorer device、token usage、API request identifiers、失败请求和每轮 parse repair 次数
• 各 backbone 的准确 sampling 参数、不可变模型 snapshot 与可核对的运行记录
• 完整保留结果文件及 Table-generation provenance 是否在当前公开发行版可直接取得
• 匹配 channels / geometry / compute 的 procedural baseline 和 diffusion baseline 复现配置
• 编辑成功率、物理正确性、perceptual resolution consistency 的系统性测试

这张地图表示覆盖正文和附录的主要研究内容，不将“约 90%”写成经过测量的完整度。参考文献的所有被引论文没有在本页逐一重新评估；对相关工作的描述按本论文边界作中文整理。

所有主实验和附录数值保留原 Table 编号；本页计算的均值差基于展示值，因此与原文未舍入统计量可能差 0.01。图像使用原论文 panel，维持原 Figure 编号及选择条件；Figure 2 和 Figure 7 的原 HTML 结构通过文字与标明自制的 Mermaid 图解释。

本页新增的数值 toy、比较条形图、预算滑块、证据开关仅帮助理解。有限的官方引擎 array / fixture 检查详见实现审计；没有执行文本到材质的 LLM 生成或新的统计研究实验。图片上传确认与本地结构检查不等于最终显示验收；未进行公开图片 GET、浏览器加载、截图或视觉/交互验收，最终显示由接收者检查。