A Semi-Procedural Convolutional Material Prior

01 / Identity & evidence

先固定论文身份、资料版本和证据边界

正式条目

Computer Graphics Forum, volume 42, issue 6, article e14781

发表日期

Wiley：2023-03-10；Eurographics Digital Library：2023

作者与机构

Texas A&M University；Adobe Research

通讯作者

Wiley 正式页面明确标记 Xilong Zhou 为 Corresponding Author

主文 / 附录

正式 PDF 14 页；独立 supplementary PDF 4 页，仅 Figures 17–20

Paper Verified

本文处理平面、近场共置相机–闪光灯拍摄的单张材质照片，输出 RGB albedo、标量 height 与标量 roughness；法线由高度有限差分得到。论文不恢复金属度，也不声称精确重建每个 texel。

Evidence boundary

定量实验只报告 Gram-matrix difference，主表没有方差、显著性检验、LPIPS、PSNR 或用户研究。MATch 对比仅在 11 个“已知可由程序图复现”的真实样本上进行。

论文 Figure 1：输入图案、输出材质图、重渲染与目标照片 — **Figure 1.** 木材例子说明任务的核心：选择少量可平铺灰度基底，经极小卷积先验生成 height / albedo / roughness，再经可微渲染匹配目标闪光照片。页面内图片从正式论文 PDF 提取。

02 / Research motivation

研究空隙不是“更强的生成器”，而是更便宜的材质先验

像素回归

数据重、编辑弱

监督 CNN 或 MaterialGAN 需要大量合成 SVBRDF；真实配对数据稀缺。逐像素预测容易把闪光高光或光照衰减烘进 albedo。

程序图

先验强、制作贵

MATch 等方法能优化可平铺、可编辑材质，但每类目标先要专家搭出结构匹配的完整节点图。

本文

只保留局部操作偏置

用户选择初始 pattern / noise，网络只允许逐像素通道混合和逐通道空间滤波。拓扑固定，权重按材质测试时优化。

核心假设：大量程序材质图虽然拓扑复杂，但常用滤波节点可近似归入三类：跨通道逐像素组合、每通道空间卷积、空间变换。作者实验证明前两类已足以覆盖不少木材、石材、织物、皮革、金属和瓷砖外观。严格地说，论文验证的是一组示例与有限测试集上的有效性，并没有证明这个受限空间覆盖“所有常见材质”。

Our Interpretation

这里的 prior 不是预训练分布 \(p(M)\)，而是由输入基底与网络算子共同定义的可达集合：什么结构能够出现，主要受 pattern 决定；如何重新着色、局部滤波与耦合，则由权重决定。它更接近可微、固定拓扑的微型程序。

03 / Representation

五个输入通道，五个输出通道，拓扑固定而权重专属于一个材质

论文 Figure 2：pattern 与 noise 池示例 — **Figure 2.** pattern 提供非局部结构，noise 提供细节。强结构目标需要人工选择大致对应的 pattern；随机材质的 noise 往往可随机抽取。

\[ (\mathbf{a},\mathbf{h},\mathbf{r})=M_{\theta}(\mathbf{n},\mathbf{p}) \]

\(\mathbf{n}\) 是一组无结构、可平铺灰度噪声，\(\mathbf{p}\) 是结构化灰度图案；\(M_{\theta}\) 是仅为当前材质优化的卷积网络；输出 \(\mathbf{a}\in[0,1]^{H\times W\times3}\)、\(\mathbf{h}\in[0,1]^{H\times W}\)、\(\mathbf{r}\in[0,1]^{H\times W}\)。输入和输出同分辨率。

两种受限卷积

\[ y_{o}(u,v)=b_o+\sum_{c=1}^{C_{\mathrm{in}}}W_{o,c}\,x_c(u,v) \]

pixconv：\(1\times1\) 卷积。它只在同一像素位置混合不同输入通道，近似程序图中的 blend、颜色曲线与 channel shuffle；不会移动结构。

\[ z_c(u,v)=b_c+\sum_{i=-2}^{2}\sum_{j=-2}^{2}K_{c,i,j}\,y_c((u+i)\bmod H,(v+j)\bmod W) \]

channelconv：每通道独立的 \(5\times5\) depth-wise convolution。循环索引对应 circular padding，因此可平铺输入经过每一层后仍严格周期连续。它近似 blur、sharpen、directional filtering 与有限局部位移。

论文 Figure 3：三层 pixconv 与两层 channelconv 架构 — **Figure 3.** 网络顺序为 PIXCONV → CHANNELCONV → PIXCONV → CHANNELCONV → PIXCONV；中间 16 channels，层间 LeakyReLU，末层 sigmoid。反向传播穿过 renderer，只更新这个材质的卷积参数及两个标量。

通常使用 3 个 noise + 2 个 pattern；tiles 使用 3 个 noise + 1 个 tile pattern。末层 5 channels 对应 height 1、albedo 3、roughness 1。没有 graph token、node ordering、edge prediction、autoregressive decoding、LLM/VLM、prompt、search 或 backtracking。

04 / Differentiable rendering & objective

照片监督先经过物理渲染，再用“风格 + 低频位置”两层约束比较

从 height 得到 normal

\[ \tilde{\mathbf{n}}(u,v)=\left(-s_h\,\frac{h(u+1,v)-h(u-1,v)}{2},-s_h\,\frac{h(u,v+1)-h(u,v-1)}{2},1\right),\qquad \mathbf{n}=\frac{\tilde{\mathbf{n}}}{\lVert\tilde{\mathbf{n}}\rVert_2} \]

\(s_h\) 是共同优化的高度强度。以 height 而非独立 normal 为输出，给法线施加可积分的几何约束，并可用于 displacement。

直接光照 renderer

\[ \hat{I}=\operatorname{Ren}(\mathbf{a},\mathbf{h},\mathbf{r};s_h,s_l) =\left(\frac{\mathbf{a}}{\pi}+\frac{D_{\mathrm{GGX}}F_{\mathrm{Schlick}}G_{\mathrm{Smith}}}{4(\mathbf{n}\cdot\mathbf{v})(\mathbf{n}\cdot\mathbf{l})+\varepsilon}\right) \frac{\max(\mathbf{n}\cdot\mathbf{l},0)}{d_l^2}\,s_l \]

\(s_l\) 是光强，\(\mathbf{l},\mathbf{v}\) 分别为光线与视线，实验中二者共置；\(D\) 由 roughness 控制，Fresnel 假设 dielectric IOR 1.5（实现中 \(F_0=0.04\)），几何遮蔽用 Smith 项。此配置不能估计金属度或彩色 specular。

Gram style loss + 下采样 L1

\[ G_{\ell}(I)=\frac{1}{H_{\ell}W_{\ell}}\Phi_{\ell}(I)\Phi_{\ell}(I)^{\mathsf T},\qquad \mathcal{L}_{\mathrm{full}}=\lambda_1\left\lVert T_G(\hat{I})-T_G(I^{\ast})\right\rVert_1+\lambda_2\left\lVert D_d(\hat{I})-D_d(I^{\ast})\right\rVert_1 \]

\(\Phi_{\ell}\) 是预训练 VGG-19 的五层特征，\(T_G\) 连接其 Gram matrices；\(D_d\) 把图像降到 \(d\times d\)，论文取 \(d\in\{16,32\}\)。\(\lambda_1=1.0,\ \lambda_2=0.1\)。Gram 项允许局部纹理位置不同，低分辨率 L1 则锁定颜色、亮度和高光形状。

Identifiability

单张共置闪光图存在 albedo–light ambiguity、height–roughness–specular ambiguity。论文承认不同方法间 albedo 亮度不可直接比较，需已知反射率标靶校准。它通过强先验获得“可用且视觉相似”的分解，不是唯一真值恢复。

05 / End-to-end pipeline

每个材质都重新开始一次测试时优化

闪光目标
\(I^{\ast}\)

选 3 noise
+ 1–2 pattern

随机初始化
\(M_{\theta}\)

输出
\((a,h,r)\)

可微 GGX
重渲染 \(\hat I\)

VGG Gram
+ 低频 L1

Adam 反传
2,000 步

采集：裁成 \(512\times512\) 的近平面、正视、相机与闪光灯共置图像；代码对输入做 gamma 到线性域的转换。
选择基底：随机取通用 noise；结构目标由人挑一个大致匹配的 pattern。pattern 不要求像素对齐。
拟合：从头实例化网络，同时优化卷积权重 \(\theta\)、height scale \(s_h\) 和 light intensity \(s_l\)。
导出：保存 normal / height / albedo / roughness bitmap 与 checkpoint；输出由 circular padding 保证可平铺。
高分辨率：将 512 模型应用到 1024 基底时，把 \(5\times5\) kernel bicubic 放大为 \(9\times9\)，并按卷积核元素和归一化以保持能量。

Paper-reported, unit unclear

论文报告本文方法在单张 RTX 2080 Ti 上约 2 GB GPU memory、2,000 步约 2–3 分钟；编辑 50 步少于 5 秒。紧接着又称 MATch 平均需要 46 GB memory、1,000 步约 1,020 分钟，并写“两者都在单张 RTX 2080 Ti 上测试”。但 NVIDIA 官方规格显示 RTX 2080 Ti 只有 11 GB GDDR6，因此 46 GB 不可能是这张卡的同时驻留显存。论文未说明该值是主存、累计分配、卸载后的需求还是别的统计口径；本页保留作者数字，但不把它解释成 GPU 峰值，也不据此做严格硬件效率比。NVIDIA 官方规格

06 / Patterns, data & reproducibility

它没有训练集，但仍依赖人工策展的基底库

≈200

通用 noises

来自 Substance Source 材质图中广泛使用的噪声，跨类别复用。公开仓库当前 common 目录有 196 个文件。

Substance graphs

作者用六类共 88 个 Substance graphs 建立结构 pattern pool：wood、leather、stone、metal、tiles、fabric。

749

仓库 data files

固定提交包含 64 个 MyReal2 图像、675 个 Patterns2 文件和 10 个 test 文件；这不是论文实验 split 的完整声明。

补充材料 Figure 17：输入噪声图案、目标、输出和材质贴图 — **Supplementary Figure 17.** 补充材料把正文 Figure 5 的结果逐行对应到初始 noise / pattern。它支持“结构来自输入基底”的机制解释，但没有添加新的数值实验或训练细节。

Reproducibility gap

论文没有给出 53 synthetic、51 Real1、11 Real2 的逐样本名称、划分文件、随机 seed 列表、重复次数或置信区间。公开仓库提供照片和大量 patterns，但没有一条命令重建 Table 1，也没有保存主表全部基线输出。

07 / Editing

能编辑，但控制变量没有程序节点那样可解释

替换输入基底

固定已优化权重，替换或调整 noise / pattern 会产生同类新实例；直接替换可能出现伪影，因此作者再微调最多约 50 步。编辑的是生成源，而非最终位图，这保留了跨材质图的相关性。

guide map

\[ \mathcal{L}_{\mathrm{edit}}=\mathcal{L}_{\mathrm{full}}+\lambda_e\left\lVert T_G(\mathbf{a})-T_G(\mathbf{a}_g)\right\rVert_1,\qquad \lambda_e=100 \]

\(\mathbf{a}_g\) 是用户给定 albedo guide。新项把输出 albedo 的 VGG Gram statistics 推向 guide，同时原照片损失维持材质外观。论文称其它 map 可设计类似损失，但未系统评测。

论文 Figures 10 到 12：材质编辑、损失消融、输入变化 — **Figures 10–12.** Figure 10 展示换 pattern/noise 与 albedo guide；Figure 11 解释两项损失的互补性；Figure 12 显示不同初始基底仍能匹配相似 style。都是定性证据，没有编辑成功率或交互研究。

08 / Experiments

主表只衡量 feature correlation，结果支持“相当”，并不足以支持全面优越

Table 1 重建：Gram Matrix difference，越低越好；“—”表示论文未报告或不适用。
方法	Synthetic (53)		Real1 (51)	Real2 (11)
方法	Albedo	Rendered	Rendered	Rendered
Des18	0.0133	0.0084	0.0108	—
Zhou21	0.0129	0.0056	0.0089	—
Guo20 / MaterialGAN	0.0145	0.0078	0.0092	—
MATch	—	—	—	0.0037
Ours	0.0137	0.0059	0.0055	0.0036

Synthetic：Ours 的 albedo 不是最好，比 Zhou21 高 0.0008（约 6.2%）；rendered 也略差 0.0003（约 5.4%）。因此准确表述是 on par，不是全面胜出。
Real1：Ours 0.0055，比次佳 Zhou21 0.0089 低 0.0034（约 38.2%）。这支持物理渲染 + 风格先验减少真实照片域差距。
Real2：Ours 0.0036，MATch 0.0037，差 0.0001（约 2.7%）。没有方差，不能判断统计显著；核心价值是免去完整预设计图，而非数值大幅领先。
协议差异：Synthetic 在可比材质 maps 上算误差，Real1 / Real2 在 rendered images 上算误差，列间不可直接当作同一任务排名。

论文 Figure 7：与 Deschaintre、Zhou、MaterialGAN 的材质贴图对比 — **Figure 7.** 定性比较显示若干 per-pixel 方法把高光烘入 albedo / specular，而 Ours 的 maps 更平稳。这个观察有视觉依据，但“never burn in highlights”是作者在展示集合上的概括，不是大规模失败率统计。

09 / Ablation & limits

消融回答了“为什么要这两类层和两项损失”，没有量化稳健性

Loss

L1 only：模糊、少细节；Gram only：纹理锐利但高光形状错误；Full：两者兼顾。证据仅为 Figure 11 三组定性结果。

Inputs

仅 pattern 保结构但缺细节；仅 noise 有 style 却丢全局结构；增加到约 5 个信号更悦目。数量是经验设定。

Architecture

pixconv only 缺空间相干；regular CNN 与本文外观相近，但论文报告 10,437 参数；受限网络报告 1,258 参数。

论文 Figures 14 到 16：架构消融、pattern 失败与 guide map 纠缠 — **Figures 14–16.** 左：架构消融；右上：pattern 结构过远或重复结构信号导致失败；右下：guide edit 超过 50 步且 roughness 被连带改变。

真正证实：在作者展示样本中，depth-wise spatial filtering 对纹理细节必要，full convolution 的额外容量对视觉质量未表现明显优势；pattern 选错会失败。

尚未证实：参数更少是否普遍降低过拟合；5 输入是否全局最优；不同随机初始化成功率；自动 pattern retrieval 能否保持质量；在非平面、非共置照明和金属材质上的泛化。

10 / Paper vs. implementation

官方仓库能跑单图优化，但不是论文主表的一键复现包

审计对象：官方 GitHub xilongzhou/Material_prior，提交 67654aa1288b1780d2a9d2a67d6ad4916375a5a4（2023-08-25）。未运行 2,000 步 GPU 优化；以下由代码路径、仓库文件与论文逐项核对。

官方 recipe 与论文大体一致

README 指令为 TD+32L1、2,000 steps、learning rate 0.005、height intensity 10，并开启 light/height scale optimization。架构 CLI 默认 3 pixconv、16 channels、kernel 5、output 5；wrapper 默认加入 channelconv。

初始化实现与论文文字不一致

论文 Section 3.3 写 Xavier initialization；train.py 实际调用 net.apply(weights_init)，而函数把 convolution weight 和 bias 设为 \(\mathcal{N}(0,0.02^2)\)。Xavier / Kaiming 行仅是注释。若复现论文数字，应记录这一差异并优先测试公开提交的实际行为。

参数计数存在不可解释差额

对 5 输入、16 hidden、5 输出、两层带 bias 的 depth-wise \(5\times5\) 卷积，公开代码结构给出 \(96+416+272+416+85=1{,}285\) 个网络参数；论文报告 1,258。代码会动态打印参数数目，但论文没有给出逐层计数，当前快照也没有说明 27 个参数差额。

guide-map 活动路径不同

论文 Equation 4 是 albedo VGG-Gram guide，\(\lambda_e=100\)。公开代码当前 edit loop 的活动行是 roughness map 的 pixel L1，默认 w_edit=10；albedo texture-descriptor 行被注释。cust_optim.py 中 edit 命令整体也被注释，README 只公开 capture 指令。

高分辨率路径实现了 kernel upsampling

--high_res 新建 kernel size 9 网络，用 bicubic 把不匹配的 \(5\times5\) 权重插值到 \(9\times9\)，再按插值前后 kernel sum 比例归一化。这与 Figure 9 文字一致，但代码按参数迭代顺序 zip 权重，没有显式按名称检查语义对应。

工程可移植性受旧栈和硬编码影响

environment 固定 Python 3.7.10、PyTorch 1.8.1、torchvision 0.9.1；多处直接调用 .cuda()，即使 CLI 提供 GPU 选择，也不是干净的 CPU fallback。edit guide 路径硬编码为 ./data/Edit2，部分实验逻辑和 encoder / STN 试验代码保留在同一脚本中。

数据发布比论文方法描述更具体，也仍不完整

仓库含 196 个 common patterns/noises、按类别文件与 64 个 MyReal2 图像，另有一个 512×512 手机照片测试例。但没有 Table 1 的 manifest、baseline checkpoints、统计脚本或 53/51/11 样本映射，不能从仓库独立核验主表。

Implementation boundary

“代码公开”支持方法组件级复现，不等于论文全部实验可复现。本文网页没有把未执行的 GPU 训练称作复现成功，也没有推断未公开分支就是作者生成论文图时的代码。

11 / Reviewer commentary

它是一项很聪明的系统折中，但实验更像高质量 proof of concept

Strengths

表示合理：把程序图高频出现的局部算子压成两类卷积，bias 清楚，参数与计算量极低。
无需预训练：避免 synthetic-to-real 数据域差距，且真实图上的 Gram error 明显优于对照。
输出实用：可平铺、可放大、分解为标准 material maps，可直接接 3D pipeline。
比较诚实：明确承认不是 pixel-perfect recovery、不是 generative model，也公开 pattern failure 和 map entanglement。

Weaknesses

人工检索是隐藏成本：强结构材质的成功取决于人选 pattern，未报告平均挑选时间或失败率。
指标偏窄：Gram distance 与训练 loss 同族，缺少 relighting 感知研究、map-level 物理精度和下游任务。
协议不充分：无逐样本划分、方差、重复运行和统计检验；Real2 的 0.0001 优势不应被放大。
语义控制弱：卷积权重不可读，不能像 Substance 节点直接调“砖缝宽度”“划痕深度”。
物理模型窄：固定 dielectric、单次散射 GGX、平面近场闪光，不覆盖 anisotropy、metallicity、transmission 或复杂几何。
论文–代码漂移：初始化、参数计数和 edit loss 至少三处需要作者说明。

Reviewer verdict

论文最有价值的结论不是“1.2K 参数击败大型网络”，而是：对单图材质逆问题，选择正确的可达空间往往比扩大网络容量更重要。主表和消融足以证明这个方向值得研究，但不足以确认它能取代通用 capture 或原生程序图。

12 / Research extensions

最自然的后续，是把“人工选 pattern”变成执行感知的检索与搜索

Pattern retrieval

用多尺度结构 encoder 从库中检索候选 pattern，再以短程 renderer-in-the-loop 优化重排。训练检索器时应区分几何结构与光照高光。

Mixture with sparsity

把候选 pattern 设成稀疏门控 mixture，以熵或 group-lasso 抑制多个 pattern 表达同一信号，直接针对 Figure 15 的局部最优。

Hierarchical prior

大尺度 pattern、中尺度 warp、微尺度 noise 分层，允许不同 receptive field；仍保持 circular boundary 与少量可解释参数。

Execution-aware graph repair

把这个网络当作“外观 proxy”，先快速拟合，再蒸馏到可读 procedural graph；renderer feedback 用于选择、修复节点与参数。

Disentangled editing

以 Jacobian orthogonality、cross-map leakage penalty 或 hypernetwork 学习局部编辑方向，量化 guide 对非目标 maps 的改变。

Test-time multi-view

同一先验联合多光照 / 多视角观测，显式校准光强与曝光，减少 albedo–roughness–height 歧义，并报告不确定性。

Research Extension

对 Procedural Material Generation，值得检验的混合方案是：VLM 只负责提出或检索少量结构 pattern；本论文的轻量 prior 在真实 renderer 中快速拟合；随后图搜索器把卷积结果编译成可编辑节点图。成功标准应同时包含外观、执行有效性、参数语义与编辑局部性，而不是只看 CLIP 或 Gram。

13 / Sources

一手资料与核查快照

Eurographics Digital Library：正式条目与开放 PDF — 论文身份、14 页正文、DOI。
Wiley Online Library：正式 HTML — first published 日期、卷期、通讯作者标记。
作者项目页 — paper、supplementary、video 与 code 入口。
官方 supplementary PDF — 4 页 Figures 17–20，输入 pattern 与编辑对应关系。
官方 GitHub repository — 审计固定提交 67654aa1288b1780d2a9d2a67d6ad4916375a5a4。
NVIDIA：GeForce RTX 2080 Ti 官方规格 — 标准显存配置为 11 GB GDDR6，用于核查论文 46 GB memory 表述的口径矛盾。

未使用二手摘要替代原文。网页中的数字、公式与结论基于正式正文、图像附录和固定代码提交；解释与研究延伸已显式标记。未执行完整 GPU 实验，因此没有声称独立复现 Table 1。