每个均匀材料用 DSBRDF 参数描述，不是 RGB 颜色或单个 roughness
01 · 论文身份与证据范围
Material Editing Using a Physically Based Rendering Network，Guilin Liu、Duygu Ceylan、Ersin Yumer、Jimei Yang、Jyh-Ming Lien，ICCV 2017。以用户保存的 CVF 正式论文 PDF（9 页，页面印刷编号 2261–2269）为基准，文件 SHA256 已匹配；另阅读官方 5 页 supplemental PDF。没有用近年的扩散模型细节补写这篇 2017 年工作。
首页机构是 George Mason University、Adobe Research、NVIDIA；第一作者星号解释工作完成时的机构，不是通讯作者标记。没有明确通讯作者证据时保留原笔记候选状态。图像引用从用户原 PDF 的图区域直接渲染提取，未进行视觉截图验收；浏览器检查按用户要求留到下载后。
02 · 核心思想：让物理渲染成为网络的 decoder
给一张已抠出物体的 RGB 图像和目标材料，输出同一物体、同一视角、同一照明下更换材料后的图像。网络先显式预测法线、材料和环境光，再用可微物理渲染层重新合成输入，并用目标材料合成编辑结果。训练同时约束中间物理量和渲染图像，让“预测得像数值真值”与“渲染后看起来正确”结合。
相比一个黑箱图像 decoder，显式物理量让材料交换有定义；相比三个完全独立预测器，可微 renderer 把它们通过成像关系耦合。论文的关键并不在于某个新 CNN backbone，而是用可解释的前向成像算子组织学习与损失。
远场 HDR illumination，方向相关但不随物体表面位置变化
网络提供初值，真实图像可进一步做交替 L-BFGS 拟合
03 · 输入、输出、假设与问题的歧义
输入 \(I\) 为 256×256 物体图，前景 mask 已给定；目标材料 \(m_t\) 可直接指定，也可由另一张图预测得到。三个模块输出 \(n'\)（逐像素三维单位法线）、\(m'\)（均匀材料参数）、\(L'\)（HDR 环境图）。
\[I'=\mathcal R(n',m',L'),\qquad O'=\mathcal R(n',m_t,L')\]
重建 I' 保持原材料，编辑 O' 替换材料。这里法线只是可见表面方向图，不是完整可旋转 3D mesh，也不自动满足法线场可积性。单图分解存在形状、反射和照明互相解释的歧义，加入 renderer 并不会从理论上使逆问题唯一可辨识。
模型假设远场、平移不变照明；无自发光；忽略复杂互反射与次表面散射。余弦项截断处理背向光半球，但没有显式的复杂几何遮挡、投影阴影或多次光路追踪。所谓 physically based 应在这些假设内理解，不能说完整物理场景已恢复。
04 · 渲染方程、离散光照和法线
\[I_p=\int_{\Omega}f_r(\omega_i,\omega_o;m)\,L(\omega_i)\,\max(0,n_p\cdot\omega_i)\,\mathrm d\omega_i\tag{1}\]
\(p\) 为像素，\(n_p\) 为相机坐标系下法线，\(\omega_i\) 为入射方向、\(\omega_o\) 为观察方向，\(f_r\) 为 BRDF，\(L\) 为对应方向入射辐亮度。BRDF 决定表面怎样反射，余弦项决定入射投影面积；将不同方向贡献求和得到该像素颜色。
\[I_p\approx\sum_{i=1}^{H_LW_L} f_r(\omega_i,\omega_o;m)L_i\max(0,n_p\cdot\omega_i)\,w_i,\quad H_L=64,\ W_L=128\tag{2}\]
环境图有 8192 个离散方向，每个方向保存 RGB 光强。球面采样要考虑立体角权重 \(w_i\)，纬度相关部分为 \(\sin\theta_i\)。补充材料展开式只显式保留该正弦项；复现要确认常数尺度如何归一化，否则照明幅值与材质系数可能互相补偿。
补充材料的排印警告：它把经度写成 \(\phi_i=(w/W_L)\pi\)，但完整经纬球面环境图通常需要 \(2\pi\) 的方位覆盖。不能不核实就照抄成只覆盖半圈，也不能声称作者代码一定有错，因为本次未获得原始 renderer 实现。应将这处与实际代码及单方向单元测试核对。
每像素法线由网络输出三通道并归一化；观察方向由视场角与图像尺寸确定。环境图方向固定，因此训练只优化光强，不对方向本身求导。
05 · DSBRDF：为什么一个材料有 108 个参数？
本文使用 Directional Statistics BRDF，把反射建模为多个半球指数幂分布之和，而不是当前常见的“albedo＋roughness＋metallic”几项参数。它能拟合 MERL 中多种漫反射和镜面材料，但其参数不一定直接对应美术熟悉的物理滑块。
\[h=\frac{\omega_i+\omega_o}{\|\omega_i+\omega_o\|},\qquad q=\max(0,h\cdot n_p)\]
\[f_r^k=\sum_{s=0}^{2}\left[\exp(a_s^k q^{b_s^k})-1\right]\]
k 为 RGB 通道，s 为三个分布分量；每个分量有两个系数 \(a_s^k,b_s^k\)，并随 half-angle 相关变量变化。补充材料先在 18 个角度位置估计系数，再用具有九个 knot 的二次 B-spline 拟合，每条系数曲线用六个变量。因此总参数为：
\[3\ \text{颜色通道}\times3\ \text{分量}\times2\ \text{系数}\times6\ \text{样条变量}=108\]
网络输出这些样条参数，不是直接预测 108 张纹理图，也不是 108 种材料类别。训练时各维按原数据范围映射到 [-0.95,0.95]，tanh 输出后再映射回各自的原始尺度。不同参数量纲不同，是后面“参数 L2 好不代表渲染好”的原因之一。
可微性的实际含义
令 \(g=\max(0,n_p\cdot\omega_i)\)，则一束光贡献为 \(f_r^kL_i^kgw_i\)。活跃分支上，对照明的导数为 \(f_r^kgw_i\)；对系数 a 的导数含 \(\exp(aq^b)q^b\)，对 b 的导数含 \(\exp(aq^b)a q^b\log q\)。最后通过 B-spline 的链式法则回传至原108维参数。
\[\frac{\partial I_p^k}{\partial n_p}=\sum_i L_i^kw_i\left[g\sum_s \exp(a_s^kq^{b_s^k})a_s^kb_s^kq^{b_s^k-1}h+f_r^k\omega_i\right]\]
上式是对正半球、\(q\gt0,g\gt0\) 分支的阅读推导，清楚显示法线影响 BRDF lobe 和余弦项两条路径。零点处 max 不光滑，\(\log q\) 与幂也需数值保护。补充材料的法线导数排版缺少或混淆某些方向分量，复现必须用有限差分核对，而不是把 PDF OCR 公式直接当代码。本文没有运行该数值验证。
06 · 三个预测模块与训练目标
三个模块都接收 256×256 RGB。法线模块沿用多尺度结构，但扩展为四个尺度，最后尺度含两个保持输入分辨率的卷积层，输出归一化单位法线。材料模块为7个逐次下采样卷积层、3个全连接层与tanh；光照模块为7个下采样卷积、2个全连接，再反卷积生成64×128×3环境图。卷积/全连接使用ReLU，全连接配dropout。
补充结构图给出的材料通道序列为16、32、64、128、256、512、1024，再512、256、108；光照编码端类似，两个FC均1024，再逐步解码到RGB。法线结构为多尺度融合，不应简化成完全相同的单一encoder-decoder。精确kernel/stride/dropout率和各层参数总数在所读正文中不完整，本页不补造。
\[\ell_n=\sum_p\|n_p-n_p'\|_2^2,\qquad \ell_m=\|m-m'\|_2^2\tag{3–4}\]
单位法线满足 \(\|n-n'\|_2^2=2-2n\cdot n'\)，所以最小化欧氏差等价于最大化cosine similarity。材料系数损失在归一化参数空间计算；评估表又映射回原尺度，不能直接把不同阶段的数值混用。
\[\ell=10^4\ell_n+10^3\ell_m+\ell_{\mathrm{perceptual}}\tag{5}\]
perceptual loss 使用预训练VGG16，对重建输入 I' 与编辑目标 O' 都进行图像层面的监督。这是有监督的成像一致训练，不是仅用未标注真实图像的自监督方法。论文没有给光照直接L2标签损失，原因是HDR图数量少及各方向对渲染贡献不均；光照主要通过渲染损失学习。
加入重建和目标图像监督的价值是让系数误差按最终外观意义重新加权。然而低渲染损失仍可能通过形状/光照/材料之间的补偿实现，不能由低loss直接推断每项物理量都正确。
07 · 数据规模、划分与训练细节
| 项目 | 论文设置 | 阅读边界 |
|---|---|---|
| ShapeNet物体 | 共280：130 car、50 chair、50 sofa、50 monitor | 类别规模有限 |
| 材料 | MERL中80种：60训练、20测试 | 测试材料与训练不重叠 |
| 照明 | 10张HDR，随机旋转增强 | 没有明确证明测试来自全新环境图 |
| 视角 | 固定仰角的24候选视角，每组合随机取5个 | 不是连续无限视角训练 |
| 预训练 | 80辆车×60材质×10照明×5视角=240K | 数值由给定组合核对 |
| 多类finetune | 每类40物体，共160×60×10×5=480K | 共720K训练实例 |
| 测试物体 | 每类10个，与训练shape不共享 | 同类别内新shape泛化 |
| 初始化 | Uniform[-0.08,0.08] | 没有额外预训练权重凭空补入 |
| 优化器 | Adam；初始LR1e-4，后降1e-6与1e-8 | 切换时点和完整epoch计划未明确 |
| 动量 | 初始β1=0.9、β2=0.999；后β1降0.5 | batch、总epochs、GPU与时间未完整披露 |
先用L2预训练法线与材料模块，再和光照模块共同训练。主文“a few iterations”没有给精确次数，不能替作者填成某个标准轮数。真实图像展示还对所有材料做进一步微调，因此不能把那部分与严格20种held-out材质的合成测试视为完全相同协议。
08 · 真实图像的后优化与多材料扩展
\[\min_{n^{\ast},m^{\ast},L^{\ast}}\|\mathcal R(n^{\ast},m^{\ast},L^{\ast})-I\|_2^2+\|n^{\ast}-n'\|_2^2+10\|L^{\ast}-L'\|_2^2\tag{6}\]
网络输出作为初始化，L-BFGS交替更新一个物理属性，其他暂时固定。法线和照明正则让优化别离开网络先验太远；式子没有单独的材料偏移正则。优化的是原图重建，不是有真值的目标编辑图，因此更好的原图拟合也可能来自物理分量补偿。
多材料场景需要给定分割mask；每区独立预测材料，但整图共享法线和光照。作者手工将100把椅子分成两个语义区，80用于finetune、20测试，每个区域可指定不同目标材料。4000例的L2=1272.1、SSIM=0.9362；这里没有后优化，也不是无需mask的自动多材质分割。
09 · 指标与渲染层消融：更好的外观不一定有更好的参数误差
Rendering L2在tone-mapped、通道范围[0,255]的图像上，按每像素三个通道平方差的平均计算；不是[0,1]图像的MSE，也不是开平方后的RMSE。SSIM越高越好。材质系数L2与图像L2属于不同空间，不能直接横向比较数值大小。
单独评材料：真实法线和真实照明已给定
原 Table 1
| é ç½® | æè´¨ç³»æ° L2 â | Rendering L2 â | Rendering SSIM â |
|---|---|---|---|
| Standalone | 4.1038 | 544.1 | 0.9297 |
| Combined | 4.8144 | 355.5 | 0.9517 |
Combined的材质系数L2从4.1038变成4.8144，反而更差；图像L2从544.1降到355.5（约34.7%降低），SSIM从0.9297升到0.9517。这证明参数距离与感知外观不等价，而不是证明每项内在属性估计都提升。该表只测材料模块，另两项使用真值。
单独评法线：真实材料和真实照明已给定
原 Table 2
| é ç½® | Normals cosine â | Rendering L2 â | Rendering SSIM â |
|---|---|---|---|
| Standalone | 0.9105 | 313.2058 | 0.9441 |
| Combined | 0.9050 | 238.4619 | 0.9625 |
Combined的normal cosine 0.9050小于Standalone 0.9105，平均方向指标略差；但渲染L2由313.2058降到238.4619（约23.9%降低），SSIM由0.9441升到0.9625。图像损失让细节更锐利，并未保证平均法线余弦更优。只引用最后两列而隐藏第一列会误导。
10 · 完整材料迁移对照
Lombardi方法要求已知几何：合成测试给它真实法线，真实图像则给本文预测法线。Baseline1是encoder-decoder，分离材料latent并替换为目标材料，同时用skip connections减轻模糊；Baseline2是三个独立L2预测网络，再走renderer。对照共享训练/测试集合，取500张测试图并指定测试材料。
原 Table 3
| ææ | Lombardi | Baseline1 | Baseline2 æ ä¼å | Baseline2 ä¼å | Ours æ ä¼å | Ours ä¼å |
|---|---|---|---|---|---|---|
| L2 â | 802.7 | 1076.7 | 886.9 | 1273.7 | 805.2 | 530.9 |
| SSIM â | 0.9416 | 0.9173 | 0.9256 | 0.9159 | 0.9408 | 0.9557 |
原始网络805.2/0.9408与拥有真实法线的Lombardi 802.7/0.9416相近；Ours＋postopt达到530.9/0.9557。相对自身未优化，L2降低约34.1%。这支持“较好的联合初值能帮助非凸后优化”，不表示后优化总会变好。
反例：Baseline2后优化的L2从886.9升至1273.7，SSIM从0.9256降至0.9159。较差的独立预测初值可能进入更差局部极值。把任意预测后接一个renderer优化器，不能保证提升。
定性结果包括漫反射→高光、更高光→更漫反射、两种高光材料之间迁移，以及不同对象之间材料转移。真实图片只有视觉对照和示例，不存在完整真实n/m/L真值来验证物理解耦精度。
11 · Reviewer 与适用范围
Paper Verified：在当前合成划分和指定baseline下，将renderer与图像感知监督纳入训练改善最终渲染；联合预测提供有效后优化初值；有mask的双材料案例可以处理。
Author Claim：网络“理解成像物理”应理解为训练结构包含显式成像约束，而不是模型已得到唯一正确场景解释。法线和材料数值指标的反例说明，论文真正强证据在渲染任务效果。
优势是将显式可编辑物理变量与学习先验结合，并通过受控的单模块消融解释作用；缺点是环境图与对象类别少、均匀BRDF限制空间变化、依赖分割、图像分辨率256、无复杂间接光与SSS。照明错误可能被法线吸收，小区域材料估计困难；对真实世界的泛化主要通过示例而非大规模定量数据证明。
复现应优先核查环境图经度覆盖、立体角权重、样条参数范围、max边界数值导数、tone mapping以及VGG损失定义。补充PDF存在公式排印风险，本次没有找到并运行作者renderer代码，因此不宣称逐行实现复现完成。
12 · 对 PMG 与 evaluator 设计的启发
Our Interpretation：用真实执行结果评估表示，比仅在参数空间量距离更符合最终目标。Table1/2是清晰例子：参数L2/cosine可能变差，渲染却更好。因此材质图agent的评估不能只匹配节点参数或图编辑距离，也应实际执行、渲染并检查副作用。
Research Extension：为PMg设计多层evaluator：图合法性、渲染外观、跨光照稳定性、可编辑性。把固定光照的图像误差与新光照测试分开，检测“把光照烘进材质”或“借光照参数掩盖材料错误”。
还可比较不同初始化策略：随机graph、检索graph、学习预测graph，再用同一render预算优化。本文Baseline2＋opt的失败提醒我们，优化器能力不能脱离初值质量评价。需统计失败分布、预算和重复seed，而不是只展示最佳样例。
本文没有生成Substance节点图、没有LLM或agent，也没有SDS扩散监督。将其视为后续逆渲染/执行反馈思想的一条早期路线较准确，不能直接归为现代程序化图生成系统。
13 · 阅读记录、来源与未完成验证
已完整阅读9页主文与5页补充，重建全部三张原始结果表，保留主要数学建模与DSBRDF参数推导。原图从固定PDF提取为内嵌图，避免外链图失效；原始PDF仍为可复核来源。源公式与HTML静态检查已执行，尚未做浏览器/图片视觉验收或任何训练复现。
原笔记及所有PDF++锚点完整保留，新分析以追加形式写入合并候选。通讯作者、未公开训练参数等缺失项保持待核验，不覆盖原有属性或共享人物/索引。本批是待用户下载的云端文件。
原图表署名Liu et al., ICCV2017；变量解释、修正性推导和研究延伸为本次精读，不冒充作者原始结论。最终本地浏览器验收由用户下载后统一进行。