从几笔线稿，恢复一张可编辑的三维曲面。

论文身份与证据边界

为什么不直接预测 voxel 或 mesh？

研究缺口由此很具体：如何保留二维卷积的高分辨率和稳定训练，同时产生不依赖固定拓扑、能转成网格的三维表面？作者的假设是：从少量输入线稿预测一组覆盖物体的深度／法线图，再通过显式几何一致性恢复曲面。

输入、输出与中间表示

严格的输入条件

若有 \(C\) 张输入草图，论文把它们按已知顺序堆叠为 \(\mathbf{S}\in\mathbb{R}^{256\times256\times C}\)。前／侧／顶视图组合分别训练独立网络；它不是拿任意相机位姿直接推理。所有训练形状被统一朝向并缩放进同一个二十面体相机包围体，渲染采用正交投影。

每个输出视图到底预测什么

十二个相机位于正二十面体的等距顶点并看向物体中心。第 \(v\) 个 branch 输出 \(\mathbf{I}_v\in\mathbb{R}^{256\times256\times5}\)：一通道深度 \(d\)、三通道单位法线 \(\mathbf{n}\)、一通道前景概率 \(f\)。阈值 \(f\gt0.5\) 得到有效表面像素。

\(p=(p_x,p_y)\) 是像素，\(v\) 是输出视图；\(\mathbf{R}_v,\mathbf{e}_v\) 是已知相机外参；\(\kappa\) 把相邻像素间距换算到物体坐标。公式将一个有效深度像素反投影成三维点 \(\mathbf{q}_{p,v}\)。

一个共享编码器，十二个专用解码器

Encoder

七层步长为 2、核大小为 4 的二维卷积，把 \(256^2\) 逐级缩到 \(2\times2\times512\)。通道为 64、128、256、512、512、512、512。除首层实现细节外，层使用 batch normalization 与 slope 0.2 的 leaky ReLU。展平后是 2048 维，可作为 sketch-based retrieval 描述符。

Multi-view decoder

每个视点有独立上采样分支，从 \(2^2\) 恢复到 \(256^2\)，并按 U-Net 将同尺度 encoder feature 拼接进 decoder。输出层用 tanh 将深度／法线压到 \([-1,1]\)，法线另做 \(\ell_2\) 归一化。论文说前三个 decoder layer 使用 dropout；公开代码的主 U-Net 路径只在最深的两个层调用 dropout，这一差异见实现审计。

为何不共享十二个分支？

每个 branch 固定对应一个世界视角，独立参数可把同一 latent 变换到专用深度／法线图；代价是参数量大、视点集合固定，并且不能自然插值到任意新相机。论文的 Tatarchenko baseline 正是“连续视角编码 + 单一 decoder”，结果较弱，但这个对比同时牵涉 U-Net 连接和分支结构，不能只归因于离散视角。

像素精度、前景与结构先验一起训练

论文在 validation set 上选 \(\lambda_1=\lambda_2=\lambda_3=1\)，\(\lambda_4=0.01\)。四项分别约束深度、法线方向、前景分类与整张输出图的高层结构。

帽号表示 ground truth；\(\hat f\) 把损失限制在真实前景内。深度使用 \(\ell_1\)，作者称 \(\ell_2\) 会产生更模糊的图。法线项最小化 \(1-\cos\theta\)。深度也归一化到 \([-1,1]\)，因此两项每像素范围都约在 \([0,2]\)。

前景项为 binary cross-entropy。GAN 判别器判断每视图的深度、三通道法线和前景组合是否真实；generator 以 \(-\log P(\mathrm{real}\mid\mathbf I_v)\) 受罚。正文把判别输入写成五通道输出图，公开实现实际还拼入输入草图，形成 conditional discriminator。

合成线稿与 domain gap

每个物体、每个输入视角生成四种线型：(1) silhouette；(2) silhouette + suggestive contours；(3) 再加 ridges、valleys 与 apparent ridges；(4) 对 Phong render 做 edge-preserving filtering。这既替代昂贵的人类标注，也作为 style augmentation。测试时的人手线稿却来自纸笔扫描，只做裁剪和缩放；这说明泛化证据存在，但 domain gap 并未被系统测量。

网络给近似答案，几何优化让十二个视图互相同意

初始点集先做 all-pairs ICP 刚性对齐，但直接合并仍会在重叠区域形成错层。作者把所有有效像素深度 \(\mathbf D=\{d_{p,v}\}\) 当作未知量，构造二次能量：

1. 忠于网络预测

\(\tilde d\) 是 ConvNet 的初值。这里改用 \(\ell_2\) 不是为了图像锐利度，而是让总能量保持 quadratic，能写成稀疏线性系统。

2. 让深度梯度与预测法线相容

法线应与局部两条切线正交；偏导通过 \(3\times3\) 梯度核近似。轮廓附近导数不稳定，因此论文从该项排除 silhouette pixels。

3. 跨视图一致

把 \(\mathbf q_{p,v}\) 投到另一视图 \(v'\)，得到 \(p'=\Pi_{v'}(\mathbf q_{p,v})\)。如果可见且落在前景，目标视图保存的深度应等于该点在其坐标系下的深度，目标局部切线也应与变换后的法线正交。两部分权重 \(w_3=w_4=0.3\)。若一个点投到多数视图的背景，它被当作 outlier 删除；实际每个前景像素常有 3–4 个对应像素。

对应关系随深度变化，所以算法交替“解稀疏 least-squares 线性系统 → 更新点位置与投影对应”，论文报告 3–5 轮实践收敛。然后以 screened Poisson reconstruction 生成网格。可选 fine-tuning 将网格投影轮廓拉向输入线条，同时以 Laplacian 坐标保留局部细节；它只能变形，不能增加或删除拓扑部件。

三个类别，严格去近重复的 120 个测试形状

每类另选 40 个测试形状，共 120 个。作者没有随机切分：先对候选与集合形状做最佳 affine alignment，用每形状均匀采样 10K surface points 的 Chamfer distance 排除近重复；再用 encoder feature 最近邻距离复核，最后人工检查。论文只说“高于阈值”，未公开阈值，这是可复现缺口。

每类 30 个测试形状使用合成草图，10 个使用人手草图，所以合计 90 synthetic + 30 human。两位 artist 观看 Phong shading 的参考形状，在纸上画 A/B 两视图；扫描后裁剪、缩放到与训练图平均绘制区域相近。没有报告每位艺术家分配、重复绘制或 inter-artist variance。

五个指标都越低越好

四个测试条件，ShapeMVD 在主表 20 组均值中全部最低

比较方法包括：latent 最近邻检索；Tatarchenko et al. 连续视角 decoder；加 U-Net skip 的同一变体；参数量相当的 \(128^3\) volumetric decoder；以及作者直接采用公开实现的 3D-R2N2。前四个学习基线使用相同数据划分；volumetric 与 Tatarchenko 分支做了参数量对齐，但 volumetric 无法使用同构 skip connection，因此“表示”与“可用架构”并未完全解耦。

Table II 全量重建。Normal distance 的论文单位未在正文表头明确标成 degrees，但数值与“角度均值”的定义相符；页面保留原数值，不擅自添加单位。

量级示例：man-made synthetic 上，ShapeMVD 对参数量相当的 volumetric decoder，Hausdorff 从 0.113 降到 0.092（约 18.6%），Chamfer 从 0.021 降到 0.015（约 28.6%），volumetric distance 从 0.432 降到 0.344（约 20.4%）。这支持高分辨率多视图表面表示，但仍混合了 skip connection 与显式融合的收益。

两张草图的贡献最大；其他组件带来稳定但较小的改进

Single vs. two inputs：man-made 的 Hausdorff 由 0.134 降至 0.092，volumetric distance 由 0.428 降至 0.344；这是表中最大的系统性增益。No GAN 的退化较小，例如 man-made volumetric 0.347 vs. 0.344，说明 adversarial term 是轻量结构正则，而非性能主因。No normal 时，Poisson 所需法线由局部最小二乘平面拟合得到；因此它测试的是“预测法线 + 联合融合”相对后估计法线的收益。

人类判断更偏向 ShapeMVD，但研究设计有清楚边界

MTurk 每题展示两张输入线稿和两种方法的重建图，询问哪个三维模型更像线稿。每份 questionnaire 30 个 query，其中 15 个唯一 query 重复一次并随机左右翻转，用来检测不一致；每题由 5 个可靠参与者回答。完成一份问卷奖励 1 美元，每人每类别最多一份。

原始票中 ShapeMVD 分别获得 94.7%、92.8%、81.2%；“both / neither”也计入分母。人评非常强地支持可感知匹配，但它评价的是渲染图与输入线稿的相似性，不是网格 watertightness、编辑友好度或生产质量。它也是 pairwise，而非所有方法同时排序。

公开实现复现了主干，也暴露了论文没写的工程选择

这些差异不是“论文错误”的自动证明：公开代码可能对应最终工程版本，而论文受篇幅限制。但它们会改变复现实验，因此必须透明记录。此页未下载 14 GB training data 与 12 GB checkpoint，也未在现代环境重跑 TF 1.0.1 / Visual Studio pipeline；代码审计是静态核查，不是假装复现结果。

这篇论文最强与最弱的地方

从 2017 的固定多视图，到今天的执行感知生成

一手资料与复现边界

1. arXiv:1707.06375v3：论文身份、版本历史与 11 页主文。
2. 官方项目页：3DV 2017、paper、supplementary、code、data 与 presentation 入口。
3. 作者镜像 PDF：主文与 supplementary；本页人评、消融、标准差和线性系统推导来源。
4. 官方 GitHub：网络、融合源码与运行依赖；核查快照 commit 3dd6a341b8aeea1367fe4470600f8cbfd45dac03。
5. DBLP 正式记录：3DV 2017，67–77，DOI 10.1109/3DV.2017.00018。

未执行完整训练／推理；未下载 14 GB 训练数据与 12 GB checkpoint；未独立复算 3D 指标。网页数值逐项取自主文 Table II 与 supplementary Tables 2–4，事实、作者解释、本站解读与研究延伸已分开标示。