训练监督
每个真实样本只需要一张手机闪光照片及估计的高光位置；没有配对的 albedo、roughness、normal 真值，也不需要逐材质采集多光照序列。
01 · 核心结论与阅读地图
PhotoMat 把“只有真实照片、没有真实材质贴图”的困难拆成两个可训练的问题：先让 GAN 学会生成可重照明的神经材质，再让一个解析材质解码器模仿神经渲染的多光照外观。它生成的是可用于三维渲染的 SVBRDF 贴图，并没有生成 Substance 节点图。
中间桥梁
每个 texel 的32维特征与局部光照方向交给共享 MLP。改变光照条件，保持神经材质不变，就能生成供第二阶段训练的外观监督。
证据边界
照片真实感偏好达到79.2%；这支持所测皮革和石材的视觉真实感，不等于反射参数恢复准确率。无监督分解的唯一性、任意光线/视角泛化并未被完整证明。
本页完整覆盖11页主文和独立11页补充材料，保留主文12幅图与补充10幅图。原文没有编号数值表；下文的配置、速度、用户研究和消融表是对全文报告的重建，未补造 FID、置信区间或真值误差。
来源：主文摘要、§3–§7、Figure1；场景中除玻璃以外18种材质来自生成器，场景几何由 Flavio Della Tommasa 提供。
02 · 论文身份与现有笔记校正
| 字段 | 已核实信息 |
|---|---|
| 正式标题 | PhotoMat: A Material Generator Learned from Single Flash Photos |
| 作者顺序 | Xilong Zhou；Miloš Hašan；Valentin Deschaintre；Paul Guerrero；Yannick Hold-Geoffroy；Kalyan Sunkavalli；Nima Khademi Kalantari |
| 发表 | SIGGRAPH 2023 Conference Papers，11页；DOI 10.1145/3588432.3591535 |
| 预印本 | arXiv:2305.12296；v1为2023-05-20，v2为2023-05-23。阅读主体固定为用户原始PDF，不声称与当前arXiv逐字节相同 |
| 机构 | 第一作者同时列 Texas A&M University、Adobe Research；其余中间作者为Adobe Research，末位作者为Texas A&M University |
| 通讯角色 | 未找到明确通讯作者标记；保留末位 Nima Khademi Kalantari 为未核实候选，不把仓库联系邮箱等同通讯作者证明 |
分类校正建议：原笔记 topics 包含 diffusion models，但 PhotoMat 的实际生成机制是 GAN，扩散模型只出现在局限与未来工作。保留原笔记字节并在此说明；将来获准归档时再审议主题修正。实际方法包括 GAN、neural rendering、differentiable rendering；任务核心是 material generation，补充材料另展示风格匹配型材质采集。
03 · 为什么需要从照片学习材质分布
反射贴图是隐变量。传统学习方法往往先使用专业人员制作的程序化材质生成合成训练集，再学习从图像估计或生成这些贴图。论文指出常用 Deschaintre 等数据集只有1850种材质，源自155个程序化材质；数量有限，而且再精心制作的合成图也可能具有数字感。继续依赖这些贴图训练，容易把合成数据分布的偏差复制到新样本中。
直接改用真实照片并不简单：一张 RGB 图混合了反射率、形状法线、粗糙度、照明、相机响应和白平衡。若让网络输出一张“材质图像”，它可能把高光烘焙到颜色里；若一开始就强制输出某个微表面模型的参数，真实反射中超出模型能力的部分又会被错误解释成凹凸或颜色变化。
PhotoMat 的关键选择是先学习照片外观，再选择参数化解释。第一阶段不要求解析 BRDF 成立；第二阶段才用可微渲染器把神经外观投影到 GGX 或车漆多瓣模型。这同时降低数据采集门槛，并允许同一类神经表示适配不同解析模型，但误差也会在这个投影中暴露。
与 MaterialGAN 的贴图监督、TileGen 的按类别生成相比，PhotoMat 的首要贡献是数据和监督接口。与神经 BTF/BRDF 拟合相比，它学习跨材质的生成分布，而非只编码一块已测量的材料。与 MatFormer 相比，输出是栅格反射贴图，缺少可编辑的构造图与节点语义。主文§1–§2。
04 · 输入输出与符号
| 符号/对象 | 含义与维度 | 是否真实监督 |
|---|---|---|
| \(z\) | 随机潜变量；公开实现使用512维标准正态采样，再映射到512维style空间 | 随机采样，无材质标签 |
| \(F=G(z)\) | \(H\times W\times32\) 神经材质特征；固定z时应与光照条件独立 | 隐式学习 |
| \(l,\omega(x,l)\) | 条件点光源位置及每个texel位置x对应的三维单位入射方向 | 照片高光位置检测与裁剪转换 |
| \(I_{\mathrm{crop}}\) | 真实照片的 \(H\times W\times3\) 随机裁剪 | 真实RGB |
| \(M,D\) | 逐texel神经重照明器与条件判别器；D输入RGB加三维方向，共6通道 | 对抗训练 |
| \(P=E(F)\) | 解析材质参数：常规模型8通道，车漆11通道 | 没有真实贴图真值 |
| \(R(P,l)\) | 解析可微渲染器，训练时相机与闪光位置重合 | 物理模型作为结构约束 |
“Single flash photos”描述的是每个训练样本的采集方式，不是“训练只需要一张照片”，也不是主方法在推理时必须输入一张参考图。普通生成只输入随机种子；参考图拟合属于补充材料中的优化应用。光照位置是生成图像的条件，文本、类别提示、拓扑约束和节点图都不是本文生成接口。
将几何关系显式写出，可理解方向场的含义：
\[\omega(x,l)=\frac{l-x}{\lVert l-x\rVert_{2}}.\]
这是对论文局部方向构造的说明式，公开实现还加数值稳定项。它把全图光源位置转换成每个texel的局部方向，避免仅把一个全局坐标作为图像级标签。源代码使用平面纹理坐标与固定尺度；不是估计任意三维表面。
05 · 采集、裁剪与光照条件
采集规则是手持手机拍近似平面材料，闪光开启、环境光较弱、尽量把高光置中。闪光灯和相机存在实际间距，但论文把两者视作共点。相机离表面的距离被设定为可见样本区域的尺度；作者认为常见手机视场接近这一关系。绝对尺度不被辨识，模型使用距离与样本大小的比值。
原图先整理为 \(2H\times2W\)，再取 \(H\times W\) 随机区域。改变裁剪窗口，会改变高光相对于图像中心的位置；同时必须把检测到的高光坐标转换到裁剪坐标系。256²模型对应512²原图；512²、1024²模型分别需要1024²、2048²输入。这是不同表面区域、不同局部射线的训练样本，不是对同一texel真正重新打光的配对照片。
高光检测先逐像素取RGB三个通道最小值，再做2.2 gamma处理，计算全图平均强度，仅保留高于均值的像素，按强度作位置加权平均。其直觉是压低仅某一颜色通道偏亮的纹理响应，同时突出近白高光。检测少量失败样本时，作者手动把光源位置设为图像中心。论文没有报告失败比例和坐标误差分布；补充 Figure S1 只给视觉标记。
| 集合 | 论文规模 | 主要内容 | 用途 |
|---|---|---|---|
| Glossy | 约2500张 | 低粗糙度、明显镜面反射 | 256²通用与tileable模型 |
| Car Paint | 约300张 | 含微小金属闪片、复杂高光 | 专用车漆生成器及多瓣解码 |
| In-the-wild | 约9000张 | 木材、石材、油漆、皮革、砖、金属、塑料、大理石、织物、纸等 | 与前两集组合 |
| Diverse | 论文称约12000张 | 三集合并 | 512²与1024²模型 |
2500+300+9000=11800，而文中将合计称为12000；保留“约”的原始统计口径，不能把差额当作新增200张已核实数据。官方README把发布的12k、2k²合集也称“in-the-wild”，与正文子集命名不同。未下载全集计数，未核实train/validation/test独立划分和同材质重复采样比例。
来源：主文§3.1、§4，Figure2/4；补充材料第1–2页。本文的“无需标定”仍依赖平面、近共点、视场比例及闪光占主导等假设。
06 · 两阶段管线及梯度流
- 训练G、M、D：随机z生成F；条件l生成局部方向；M把F与方向变成RGB。D同时看方向，比较真实裁剪与神经渲染。G不应先接收l再把光照烘焙入特征。
- 选择生成器检查点：按训练过程FID挑选G和M，随后冻结两者。第二阶段的“目标图”由冻结网络生成，不再来自真实贴图标签。
- 训练E：输入F输出P，R在同一个l下渲染；将解析与神经图像的纹理统计及像素差反传到E。R可微但没有待训练网络权重。
- 处理光衰减偏差：额外平移微调，弱化材质参数与图像边缘位置的关联；这一步在论文描述与公开代码中存在具体差异，见实现审查。
- 生成资产：一次G前向加一次E前向得到贴图；转换高度为法线后可交给常规渲染器。M是训练桥梁和预览工具，使用解析贴图渲染时不必把M部署进渲染引擎。
分阶段冻结避免E为了满足简化BRDF而反过来牺牲神经生成器的照片真实感；代价是E只能近似已学到的神经外观。若该外观并不物理可实现，残差会被分配到粗糙度、镜面颜色和高度等参数。
07 · 神经材质生成与对抗目标
主文式(1)是系统最重要的接口：
\[I_{\mathrm{nr}}(z,l)=M(G(z),l)=M(F,l).\]
G改自StyleGAN2，并可采用TileGen的循环/平移策略生成可拼接特征。M不是图像级U-Net：它在每个texel共享一个8层MLP，输入32维特征加3维方向，隐藏宽度64，除最后一层外使用LeakyReLU，输出3维RGB。因此空间结构来自G，方向相关反射主要由局部M承担。
D采用StyleGAN2骨架，将RGB与逐像素方向拼接成6通道。若固定高光出现在错误位置，条件D有机会区分真伪。作者据此认为可避免高光烘焙；更严格地说，这是有用的学习约束，尚不是对所有材质、视角和光照下解耦唯一性的数学证明。
下列是根据公开 training/loss.py 重写的非饱和logistic主损失，便于理解，并非原文另一个编号公式。令 \(s=D(I,l)\) 为logit：
\[\mathcal{L}_{D}=\mathbb{E}_{I,l}\operatorname{softplus}(-D(I,l))+\mathbb{E}_{z,l}\operatorname{softplus}(D(I_{\mathrm{nr}}(z,l),l)).\]
\[\mathcal{L}_{G,M}=\mathbb{E}_{z,l}\operatorname{softplus}(-D(I_{\mathrm{nr}}(z,l),l)).\]
代码还保留R1梯度惩罚、path-length正则、style mixing和EMA机制；它们是训练稳定性手段，不能解读为新增真实反射监督。仓库有多种实验分支，README的 --deco_mlp 2 --use_ray --no_cond_map --cdir_d=1 才对应本文主要八层方向条件路径；仅使用CLI默认值可能落到两层Softplus解码器。
来源：主文§3.2、§4、Figure5；固定代码提交035067e96c6fa7ed3c3c5412285fef5c6152316f。未运行训练或读取模型权重。
08 · 从32维特征解码解析材质
主文式(2)和式(3)定义E的训练：
\[\mathcal{L}_{E}=\mathcal{L}(I_{\mathrm{ar}},I_{\mathrm{nr}}(z,l)),\qquad I_{\mathrm{ar}}=R(P,l)=R(E(G(z)),l).\]
每步独立采样z和l，但同一个样本的神经路径与解析路径必须使用同一个l。损失由VGG Gram纹理统计距离（权重1.0）和像素L1（权重0.1）组成。用说明式表示：
\[\mathcal{L}(A,B)=\mathcal{L}_{\mathrm{Gram}}(A,B)+0.1\lVert A-B\rVert_{1}.\]
Gram捕捉特征相关性和纹理风格，对位置对齐不敏感；L1要求同一texel的颜色更接近。这两种约束兼顾整体纹理与局部一致性，但都不直接校验真实材质参数。公开TD实现使用冻结VGG19，MaxPool换AvgPool，在若干池化层及末层提取特征，计算按空间点数归一化的Gram，拼接原尺度、二分之一和四分之一尺度，再取描述子L1平均；不是LPIPS。
E为带skip connections的5层下采样/上采样U-Net。论文给出的通道路径为32→32→64→128→256→256→256→128→64→32→n。代码的连接通道会因拼接而暂时翻倍或增加，不能将上述简写当成每个卷积输入的完整tensor shape。
| 输出模型 | 通道配置 | 解释与限制 |
|---|---|---|
| 常规8通道 | 高度1 + diffuse RGB3 + roughness1 + specular RGB3 | 高度通过梯度导出三维法线；显示的normal图不是额外预测3通道 |
| 法线替代实验 | 论文测试直接法线与高度；公开实现可用2个法线分量并恢复第三分量 | 作者观察高度版本更好，但未给对应定量消融表 |
| 车漆11通道 | 底色RGB3 + 第一镜面瓣roughness1、RGB3 + 第二镜面瓣roughness1、RGB3 | 不估计凹凸法线；固定平面法线，3个反射瓣包含1漫反射+2镜面 |
高度梯度法线可概念性写为 \(n\propto(-\partial h/\partial x,-\partial h/\partial y,1)\)，再归一化；这是解释式，实际边界、符号和尺度以渲染代码为准。高度约束限制了任意、不相容的法线场，同时提供位移贴图可能性。真实世界绝对高度尺度并没有由单张照片唯一确定。
来源：主文§3.3、§4与Figure9。作者指出部分彩色specular来自采集白平衡误差，可按需转灰；这一修正不意味着已测得真实光谱反射率。
09 · 光衰减与平移微调
理想点光源强度随距离平方反比衰减，但手机闪光有方向性，镜头有暗角，曝光与tone mapping会改变强度，环境光又增加偏置。不同手机甚至同一手机的不同照片都未必共享一个可校准衰减函数。第一阶段可以在神经外观里拟合这些相机效应，第二阶段的理想R却不具备全部能力。
直接拟合时，E可能让边缘法线朝向光源、改变边缘albedo强度，以补偿错误衰减。论文提出随机水平/垂直wraparound平移F，使E无法稳定利用“该texel距离边缘多近”，再用不要求像素对齐的Gram风格损失微调。作者报告边缘伪影减弱，但法线对比度会略降。
重要实现差异：当前公开代码默认strategy0先执行E，再对准备渲染的参数张量 ren_fea 作平移；并在force_shift时把两个渲染下采样到16²，仍保留由 w_dl1 控制的低频L1。README给出的w_dl1为0.1。因此“输入特征平移+仅Gram”是论文描述，“输出贴图平移+Gram及低分辨率L1”是已查代码路径，不能混写为完全一致的复现配方。
这类平移正则利用的是材质统计近似平稳的先验。它可以防止图像坐标泄漏，却不能使任意非平稳图案天然可拼接，也不能补回未观测的离轴反射。主文§3.3 Light falloff；material_trainer.py的strategy0路径。
10 · 训练配置与计算成本
| 阶段/分辨率 | 数据/批量 | 学习率 | 论文选择或训练步数 | 硬件 |
|---|---|---|---|---|
| G+M，256² | Glossy；64 | 0.0025 | FID最佳检查点48k iteration | 8×V100 |
| G+M，512² | Diverse；64 | 0.0025（论文统一报告） | 12k iteration | 8×V100 |
| G+M，1024² | Diverse；64 | 0.0025（论文统一报告） | 11k iteration | 8×V100 |
| E初训 | 冻结G、M在线采样；4 | Adam，0.0001 | 60k iteration | 单GPU |
| E平移微调 | 4 | 0.00005 | 再60k iteration | 单GPU |
论文没有报告各阶段实际墙钟时间、显存峰值、总参数量、独立验证集、FID具体数值、训练方差或随机种子表。不能把“最佳检查点iteration”自动解释成公开CLI的kimg：后者按千张训练图像计量。复现时应保存真实训练选项与日志，而不是仅依据文件名换算。
| 输出分辨率 | 论文采样吞吐 | 由吞吐换算的平均时间 | 范围 |
|---|---|---|---|
| 256² | 900 samples/min | 约66.7 ms/sample | G+E前向生成，单RTX2080 |
| 512² | 200 samples/min | 约300 ms/sample | 同上 |
| 1024² | 60 samples/min | 约1000 ms/sample | 同上 |
换算是60秒除以论文吞吐，不是本次基准测试，也不是图片落盘、视频渲染、模型加载或逆渲染优化的全流程耗时。8卡训练成本与单卡快速生成是两个不同阶段，不能用后者暗示训练便宜。
11 · 采样、重照明与逆渲染
常规生成
- 加载匹配分辨率和材质模型的G及MatUnet权重。
- 用种子采样标准正态z；映射到style空间并固定噪声，生成F。
- E一次前向产生8或11通道参数；按模型转换高度、约束参数区间。
- 导出贴图，并用多个l比较M的神经图与R的解析图；贴图可用于普通三维场景渲染。
公开采样器默认truncation ψ为1，cutoff为14；ψ为1时没有向均值收缩。默认普通采样使用固定噪声，类别展示分支可能改用随机噪声。README示例使用seeds10–50并保存五种光照下的神经/解析图。不存在top-k、temperature、beam search、节点合法性校验等文本解码步骤。
补充材料的参考照片拟合
使用tileable256²模型，将G、E作为先验，优化潜变量和噪声，使解析渲染与目标照片的Gram统计接近，并使用平移策略。这是一种材质风格匹配；不承诺几何纹理逐像素对齐或恢复该实物唯一真实参数。补充 Figure S10 展示匹配外观和未明显烘焙高光的结果，没有定量误差或耗时表。
\[(w^{\ast},\eta^{\ast})=\arg\min_{w,\eta}\mathcal{L}_{\mathrm{Gram}}\!\left(R(E(G(w,\eta)),l),I_{\mathrm{target}}\right).\]
此式是对补充应用的概念表达，\(\eta\)为合成噪声，G此处泛指style空间合成路径；具体优化器、正则与平移应区分论文说明和实际脚本。公开 maps_opt 分支可见2000步、初始lr0.1和噪声正则，但同时存在 args.args.superres_scale 等静态可疑引用；本次未运行，不能把它标记成开箱可用。
12 · 车漆揭示解析模型的容量边界
车漆微闪片会产生复杂的高光衰减形状。若用普通漫反射+单镜面瓣模型解释，估计器可能在高度/法线中制造“洞”或多个高光来拟合外观。PhotoMat先用车漆照片训练神经生成器，然后把E和R替换为1个漫反射瓣、2个独立镜面瓣的11通道模型；该专用模型不输出法线。
Figure7的“3 lobes”和“2 lobes”包含漫反射计数：前者是1漫反射+2镜面，而不是3个镜面层。可解释性提升来自更合适的模型容量，不应声称神经网络自己发现了车漆物理结构。作者预先选择反射模型；没有自动BRDF结构搜索。
这组对照展示模型不匹配会被伪装成参数变化。它也提示PMG系统在拟合照片时，不能只优化已有图的连续参数：如果构造模型缺少对应反射机制，低渲染误差仍可能对应错误结构。这里的PMG解释为研究启示，PhotoMat没有实际搜索节点图。主文§5.2、Figure6–7。
13 · 真实感比较与用户研究
直接比较对象为TileGen。它按类别在合成材质上训练，而PhotoMat学习多类别真实照片。作者选择双方均覆盖的皮革和石材，展示相同类型闪光照明下的解析贴图渲染，不是用PhotoMat神经RGB与TileGen解析图混比。
| 项目 | 完整报告 |
|---|---|
| 参与者 | 30人，图形学背景不同；未给年龄、性别、招募和专业分组统计 |
| 刺激 | 20个随机选取的成对材质：10组皮革、10组石材 |
| 任务 | 2AFC，选择更像日常真实表面照片、较不像艺术家合成图的图像；刺激顺序和名称随机化 |
| 总体偏好 | 平均79.2%的选择支持PhotoMat |
| 按材质对 | 20组中18组偏好PhotoMat，1组持平；剩余1组偏好TileGen |
| 按参与者 | 2人偏好TileGen，其选择TileGen比例为65%、55%；其他28人选择PhotoMat比例在60%–100% |
| 未报告 | 逐人逐刺激原始选择、置信区间、p值、重复测量统计模型、效应量、校正策略、参与者筛选细节 |
如果每人确实完成全部20次选择，名义上有600次判断，但同一人和同一刺激的重复观察并不独立。不能凭79.2%反推出精确成功计数，也不能把600当作独立样本随意计算显著性。更可靠的再分析应使用参与者与刺激的交叉随机效应，但本次没有原始数据。
比较能证明什么：在选取的两类别和照明呈现下，PhotoMat整体更符合参与者的“真实照片”判断。不能单独归因什么：数据来源、数据量、类别组合和架构同时变化，不能把全部优势归因于某一个新网络模块。本文也没有基于真实SVBRDF真值评估albedo、roughness或法线精度，亦未给与MaterialGAN、所有捕获算法的全面数量排名。
补充对每个类别、每种方法各给30个例子，PhotoMat选自256²与512²模型。这加强了可见样本覆盖，仍属于定性展示。FID在文中用于选检查点和描述tileable版本更难训，但主文与补充均未给FID数值排行榜。
14 · 消融、可拼接与未验证项
| 变化 | 已报告观察 | 证据形式 | 不能夸大的结论 |
|---|---|---|---|
| 车漆单镜面瓣→双镜面瓣 | 错误孔洞/多高光减少，贴图解释更合理 | Figure7定性对照 | 没有多瓣拟合误差或感知统计 |
| 直接法线→高度导出法线 | 作者观察高度更好 | §4描述 | 未提供独立量化消融 |
| 加入平移微调 | 削弱边缘衰减伪影，法线对比略降 | §3.3解释 | 没有移除策略的成套分数 |
| 非tileable→原生tileable | 更难训练、FID及观感较差，出现mode collapse | §4、§6与Figure10 | 不是所有分辨率都同样成功 |
| 贴图后处理HexTile | 六边形块平滑混合扩大表面覆盖 | Figure11 | 不等于生成器本身具备周期边界 |
| 256²→512²/1024² | 可生成高分辨率多类别贴图 | Figure12及补充图 | 同时换数据集，不能隔离分辨率因素 |
原生tileable256²模型沿用TileGen策略，图中显示原图与2×2拼接。另一条路径是生成普通贴图后用HexTile混合。两者都可减轻连续铺设接缝，但后者可能改变结构频率和跨通道相关性。高分辨率/可拼接版本存在模式坍塌，公开README也提示circular目前主要在256²上效果较好。
论文没有“去掉方向条件”“去掉M”“从零直接监督P”“不同特征通道数”“不同MLP深度”的完整消融矩阵。对于本文机制的解释，可以分析设计合理性，但不能给这些未测试版本编造性能变化。
15 · 全部分辨率与随机样本证据
高分辨率图同时展示神经渲染、解析渲染与normal/diffuse/roughness/specular。判断重点应包括纹理空间结构能否保留、移动光照时高光是否跟随、解析模型能否重现神经外观，以及材质图是否出现不合理低频渐变。仅看到一张好看的RGB不能回答这些问题。
展开补充Figure S3–S7：256²、512²和1024²的完整示例
作者另外发布每个模型120个独立随机样本：S8为Glossy256²，S9为大集合512²。它们比精选样本更适合观察重复模式、退化输出与类别覆盖；但并不包含1024²的对应随机网格，也没有给失败率定义。下面完整保留两张网格，不将其转成未测量的多样性分数。
展开补充Figure S8–S9：两个120样本随机网格
16 · 论文与公开实现的差异
只读代码固定在提交 035067e96c6fa7ed3c3c5412285fef5c6152316f，逐文件保存SHA256。未安装旧环境、下载权重或执行仓库脚本。以下区别影响复现，应与主文配方分开保存。
| 核查点 | 论文/README | 固定代码观察与后果 |
|---|---|---|
| G训练学习率 | 正文统一0.0025 | README默认auto分辨率分支为256：0.0025；512：0.002；1024：0.0015。应读取具体run配置，不能用当前默认反写历史实验 |
| 映射与优化器 | 正文仅称StyleGAN2策略 | z/w均512；auto映射层数2，paper系列配置8；G/D Adam betas为0、0.99，eps为1e−8，并可能被lazy正则调整有效步长 |
| MLP分支 | 正文8层64宽 | deco_mlp=2对应8层；默认1为2层Softplus。README显式选2，不能省略该参数 |
| 平移微调 | F输入平移、Gram；学习率5e−5 | 默认strategy0平移解码后的参数；含16² L1。README命令仍给1e−4，需显式设定微调lr和载入上一阶段MatUnet |
| 粗糙度 | 主文未给输出区间 | 训练/采样将roughness裁剪到[0.2,0.9]；车漆两个roughness亦如此，不能声称完整[0,1]范围 |
| E停止条件 | 60k初训+60k微调 | 训练循环while True，未见60k自动终止；checkpoint只保存MatUnet参数而非优化器。需要受控停止与阶段切换 |
| 精选/过滤采样 | 补充声明随机未筛选网格 | 采样脚本另有手选种子和filter_data分支，默认关闭；开启时相似度≤0.01会跳过样本。随机评估需记录开关，不能混用 |
| 代码环境 | 基于stylegan2-ada，Linux测试 | env固定Python3.7.13、PyTorch1.7.1、CUDA11.0；兼容新系统不能仅靠复制命令承诺 |
官网Dataset仍写Coming soon，但README已经列出Glossy、Car Paint和12k合集，以及多分辨率权重链接。应报告这是不同页面更新状态；本次只确认官方链接存在，未验证大型数据/权重下载和许可适用范围。仓库LICENSE将StyleGAN部分另列，其余部分标为Adobe Research的非商业研究许可；后续使用仍需核对完整条款，不能默认等同宽松商业许可证。
尤其需要区分：代码里的默认裁剪、光照尺度、参数clamp、样本过滤是实际行为；当前代码是否精确对应论文所有训练run仍需权重附带配置证明。静态代码核查不等于复现成功。
17 · Reviewer视角
值得肯定的贡献
第一，真实材料数据瓶颈被转化为低门槛手机采集任务，并给出约12k照片规模。第二，神经外观和解析模型解耦，使生成器不必预先接受一种BRDF容量上限。第三，照明条件在逐texel和判别器两端显式使用，比无条件RGB纹理生成更接近可重照明资产。第四，低到高分辨率、专用车漆、三维场景应用和随机网格共同展示了工程可用性，而不仅是一个损失公式。
最关键的证据缺口
可辨识性：裁剪提供条件分布，但没有同一texel真实多角度观测。共点视光只覆盖BRDF方向空间的一条受限子集。解析模型可补足其他方向，但这是模型先验外推，缺少真实离轴重照明真值检验。主文“避免固有歧义”的措辞强于现有证据。
真实感与物理正确性：79.2%是有限刺激下的偏好；漂亮的normal/roughness图不证明参数真实。白平衡、相机tone mapping、闪光方向性可能被编码进材质。车漆例子已经说明错误模型会通过伪结构吸收误差。
公平性与泛化：TileGen按类别、PhotoMat通用，而且训练数据完全不同，故结果是整套系统比较。训练/测试独立性、材料重复、拍摄设备分布和尺度覆盖未充分量化；户外、透明、复杂各向异性、非平面强阴影不应自动归入已验证能力。
复现成本：当前仓库有多个实验分支、训练结束需外部控制、论文与默认配置不同。没有给出完整检查点来源、FID曲线/数值及多seed方差。高分辨率和tileable模式坍塌意味着均值速度不能代表有效资产产出率。
最小补充实验
- 在少量真实材质上采集独立多光源/多视角ground truth，用离轴渲染误差检验方向泛化。
- 同数据同规模比较直接P生成、神经桥梁、无方向D、不同F维度，分离数据收益与结构收益。
- 用原始参与者×刺激选择数据建层次统计模型，并扩大类别、光照与渲染场景覆盖。
- 报告无筛选输出的质量/多样性/接缝失败率及有效samples/min，不只给精选图。
- 明确像素统计目标与反射物理约束，测试能量守恒、互易性、粗糙度极值、白平衡扰动和尺度变化。
以上实验是本页研究建议，未在PhotoMat中执行；不把审稿推论写成作者事实。
18 · 对程序化材质生成的可操作启示
以下为研究延伸。PhotoMat可以提供“真实照片外观→可重照明神经目标→解析资产”的桥梁，但没有节点类型、边、拓扑、程序执行器或图修复机制。将它接到PMG系统时，应把其作为外观先验或目标生成器，而非直接称作程序图生成模型。
方向一：多光照目标驱动图搜索
从固定z采样多组l，构成一组神经目标，再搜索能在同组光照下匹配的程序化图。连续参数通过可微图执行器优化，离散拓扑由受限搜索或模型生成。这样可减少单张RGB中把高光写入颜色节点的投机；但仍应保留独立真实离轴验证，避免学习教师的相机偏差。
方向二：将解析拟合残差转成结构诊断
若单瓣反射始终在高光尾部产生系统性残差，可把“增加第二镜面瓣”作为明确候选。比较不同候选的多光照误差、复杂度与合法性，而不是无目标增加凹凸节点。车漆结果提供了动机，但自动残差→拓扑推断尚未由论文验证。
方向三：把真实感、可编辑性和可执行性分开评分
生成图至少同时检查执行成功、无隐藏bitmap依赖、跨通道一致性、周期边界、参数可控性以及多光照外观。PhotoMat只为外观提供证据；若研究目标要求可编辑的因果构造，单纯拟合其8通道贴图还不够。
建议实验设计
固定一组可运行材质图词表和真实验证材质；比较单RGB目标、PhotoMat多光照目标、真实多光照目标三组。报告图复杂度、无效图率、外观误差、接缝分数、编辑后行为和时间预算。另比较原生tileable教师与HexTile后处理教师，避免把纹理混合引入的结构破坏归咎于图生成器。
19 · 复现清单与未完成验收
- 固定论文、补充PDF和代码提交；记录每个checkpoint对应数据集、分辨率、tileable与车漆标志。
- 先用已发布权重做小规模生成验证，再考虑8卡训练；核对8/11通道语义、粗糙度范围和gamma。
- 确认照片缩放与裁剪同步转换光照标签，记录手动回退比例和同材质分组划分。
- 训练时保存真实run配置；显式选八层MLP、方向D和不含l的mapping。E按预定步数结束，微调载入上一阶段并写明平移策略与L1设置。
- 评估使用固定、未筛选种子；记录truncation、噪声、过滤和类别分支；区分生成耗时、渲染耗时与文件I/O。
- 将真实重照明、解析贴图、神经图和用户偏好分开统计；没有真值的项标记未知。
本次完成全文、补充材料、官方项目与固定代码的只读核查，完成HTML结构、资源解码、公式源码、链接锚点、大小和原笔记前缀静态检查。用户已要求延后浏览器验收，因此MathJax实际排版、图片浏览器加载、导航点击以及1440/760/390像素布局均标为未运行。没有训练、采样、用户研究再分析或三维渲染实测。
HTML可直接打开；正文公式引擎内嵌，原图裁剪内嵌，另有一张官方项目图使用外部URL。Markdown中的assets相对路径对应本下载包，未来归档应另行复制/重映射。原始笔记和所有旧链接完整保留；当前产物只是在云端生成的候选文件。
20 · 来源与可追溯记录
- PhotoMat主文：方法§3、实现§4、结果§5、局限§6；本文以用户原始11页PDF为准。
- 独立11页补充材料：光照定位、类别比较、各分辨率样本、随机网格、逆渲染。
- 作者项目页与arXiv记录：身份、资源及版本核对。
- 固定官方代码提交：README、train.py、material_trainer.py、material_sampler.py、training/networks.py、loss.py、dataset.py、training_loop.py、torch_utils/render.py、env.yml与LICENSE。
已流式核对官方final_paper.pdf：23,817,723字节，SHA256与用户原件完全一致；未覆盖原文件。论文、原图及方法归原作者所有。本文为个人精读与研究批评材料；照片、场景几何及代码各自许可仍适用，不能把本地阅读授权扩大成公开再发布授权。来源证据、图像裁剪页码、哈希、元数据建议与尚未执行的归档计划单独交付。