WACV 2018 · Single-view 3D Reconstruction

DeformNet

从数据库取回一个完整 CAD 模板，再用可微的 Bernstein Free-Form Deformation 将它变成输入图像中的实例。

Andrey Kurenkov* · Jingwei Ji* · Animesh Garg · Viraj Mehta · JunYoung Gwak · Christopher Choy · Silvio Savarese
2017 年 arXiv v1 · 2018 IEEE WACV 正式论文，pp. 858–866 · DOI 10.1109/WACV.2018.00099

12 页 arXiv 合订本完整核查六幅主文图与补充定性结果Table 1–3 全量重建官方项目仓库核查MathJax 3.2.2 离线运行

论文身份：三个版本线索需要分开阅读

arXiv v1
2017-08-11

arXiv 页面写 Andrey Kurenkov，Comments 保留“11 pages, 9 figures, NIPS”。本地合订本共 12 个 PDF 页面，主文到第 10 页，补充材料位于第 11–12 页。

正式出版
WACV 2018

IEEE Winter Conference on Applications of Computer Vision，Lake Tahoe，2018 年 3 月 12–15 日，页码 858–866。正式 DOI 为 10.1109/WACV.2018.00099。

共同贡献
两位作者

正式论文、SVL 书目与 Jingwei Ji 作者主页均在 Andrey Kurenkov 和 Jingwei Ji 后标星；首页脚注明确写 Equal Contribution。

Bibliographic Resolution

2017 年本地 arXiv PDF 与 TeX 源码将第一作者写作 Andrey Kuryenkov；arXiv 元数据、WACV 正式论文、Stanford SVL、Jingwei Ji 作者主页及后续作者资料一致使用 Andrey Kurenkov。本页面采用正式拼写，并保留 PDF 拼写差异作为版本事实。

WACV Figure 1 retrieve versus generate
Figure 1（WACV 正式论文）：检索输出天然完整但受数据库覆盖限制；从头生成更灵活却容易出现噪声。DeformNet 组合“检索 + 形变”，以完整模板作为结构先验。2017 arXiv 版将后面的网络结构图编号为 Figure 1，正式版将它编号为 Figure 2。

研究缺口：单图重建需要细节，也需要结构先验

单张图像只约束可见投影，遮挡区域没有唯一三维答案。体素生成器需要三维卷积并受网格分辨率限制；直接点集生成避免体素开销，却没有显式连接关系；纯检索能返回干净完整的 CAD 模型，却只能选择数据库里已有的实例。

输入
图像 + 模板

查询 RGB 图像 \(I\) 与检索到的三维模板 \(S\)。训练时另有对应目标形状 \(S^{\ast}\)。

网络输出
64 个偏移

控制格每个维度 \(N=4\)，网络预测 \(N^3=64\) 个三维控制点偏移 \(\Delta_{ijk}\in\mathbb{R}^3\)。

最终输出
变形点云

FFD 对模板中每个点应用同一个连续形变场。点数可从训练的 1024 提高到 16384，模板的连接关系仍可带到 mesh。

Paper Verified

论文真正验证的是五个 ShapeNet 类别上的点云距离、有限真实图像示例、模板敏感性、skip connections、形变正则化与点云密度迁移。它没有验证开放类别重建、复杂拓扑改变或真实场景的无分割端到端性能。

完整流程：检索决定结构，网络决定连续形变

查询 RGB
图像
→
GoogLeNet
度量嵌入
→
同类 Top-5
模板
→
2D / 3D
双编码器
→
FFD
变形输出
DeformNet architecture
Figure 1（2017 arXiv 版）／Figure 2（WACV 正式版）：图像编码器提取二维线索；模板表面点先体素化，再由 3D encoder 编码。两路特征在 latent 表示中结合，3D decoder 与 U-Net skip connections 输出控制点偏移，FFD 将偏移作用到模板点云。结构图把 decoder 末端标为 \(32^3\times3\)，implementation section 又明确写实际 deformation 使用 \(N=4\)、共 \(4^3=64\) 个 control points；论文没有解释从图中 dense field 到 64 个 FFD offsets 的对应关系，因此图中的 tensor 尺寸不能直接当作最终实验控制格。

Figure 1 可直接读取的 activation 尺寸

分支图中逐层尺寸阅读边界
图像支路\(128^2\times64\rightarrow64^2\times256\rightarrow32^2\times256\rightarrow16^2\times256\rightarrow8^2\times256\rightarrow4^2\times256\)这些是结构图标注的 activation 尺寸；论文没有据此明确原始输入图像尺寸。
模板支路\(32^3\times2\rightarrow16^3\times64\rightarrow8^3\times128\rightarrow4^3\times256\)模板表面点先转换为体素表示，再进入 3D encoder。
3D decoder\(8^3\times32\rightarrow16^3\times16\rightarrow32^3\times8\rightarrow32^3\times3\)图示的 dense 输出与 implementation section 的 \(4^3=64\) 个 FFD control offsets 不一致；论文没有披露二者之间的转换。

训练与测试的模板选择

检索网络使用 3D-R2N2 提供的多视角渲染训练 GoogLeNet。正样本是同一三维模型的不同视角，负样本来自其他模型。检索相似度取 embedding distance 的倒数。论文在 DeformNet 训练与测试时，从同类别最相似的五个形状中随机选一个模板；因此定量结果包含已知类别约束，测试过程还包含同类约束与随机模板采样。

Our Interpretation

这套系统把困难拆成两个部分：检索阶段选择输出能够拥有的部件与拓扑，FFD 阶段调整比例、厚度、弯曲和局部位置。这样能够保留模板细节，也把不可改变的结构错误固化在检索结果中。

模板检索：用 lifted structured loss 建立图像到形状的度量空间

\[d\!\left(F(x_i;\theta),F(x_j;\theta)\right)+\Delta \lt d\!\left(F(x_i;\theta),F(x_k;\theta)\right),\quad i,j\in\mathcal{C}_n,\ k\in\mathcal{C}_m,\ m\ne n.\]Eq. 1。\(F(\cdot;\theta)\) 是 2D CNN embedding，\(\Delta\) 是 margin；相似对的距离应比负样本小至少一个 margin。
\[J=\frac{1}{2\lvert\mathcal{P}\rvert}\sum_{(i,j)\in\mathcal{P}}\left[\log\!\left(\sum_{(i,k)\in\mathcal{N}_i}e^{\Delta-d_{i,k}}+\sum_{(j,l)\in\mathcal{N}_j}e^{\Delta-d_{j,l}}\right)+d_{i,j}\right]_{+}^{2}.\]Eq. 2。一个 batch 中的负样本共同进入 log-sum-exp，复用已经计算的 features，并以平滑方式强调 hard negatives。

记 \(d_{i,j}=d(F(x_i;\theta),F(x_j;\theta))\)，\(\mathcal{P}\) 为正样本对，\(\mathcal{N}_i\) 为负样本集合。正文先用类别集合 \(\mathcal{C}_n\) 说明约束，随后把正样本具体定义为同一 shape 的不同视角、负样本定义为不同 shapes；这两种粒度没有进一步消歧。论文也没有报告检索 recall、embedding 维度 \(D\)、margin、训练轮数或检索网络学习率。

Evidence Boundary

作者称检索寻找“topologically similar”模板，但检索监督来自实例／类别标签与渲染视角，没有直接计算拓扑距离。Top-5 中随机抽样还使最终重建带有模板采样方差，论文没有报告多次重复的置信区间。

FFD：Bernstein 基函数把 64 个控制点变成连续三维形变场

先把模板点 \(p=(u,v,w)\) 归一化到单位控制格。为使零偏移时严格得到 identity mapping，本页面把控制点显式写成规范坐标 \(\bar p_{ijk}=(i/l,j/m,k/n)\)。论文原式写 \(p_{ijk}=(i,j,k)\)，同时又称 \(p=(u,v,w)\) 已归一化；若直接把整数坐标与单位区间 Bernstein basis 混用，零偏移不会返回原点。因此原文在这里省略了控制格尺度转换，复现时必须统一坐标域。

\[B_{q,r}(x)=\binom{q}{r}(1-x)^{q-r}x^r.\]Bernstein basis。对于固定 \(q\)，所有 \(r\) 的权重和为 1；在 \([0,1]\) 内权重非负。
\[\bar p_{ijk}=\left(\frac{i}{l},\frac{j}{m},\frac{k}{n}\right),\qquad p^{\prime}(u,v,w)=\sum_{i=0}^{l}\sum_{j=0}^{m}\sum_{k=0}^{n}\left(\bar p_{ijk}+\Delta_{ijk}\right)B_{l,i}(u)B_{m,j}(v)B_{n,k}(w).\]Eq. 3 的 browser-safe 规范坐标写法。论文实验设 \(N=4\)，对应 \(l=m=n=3\) 与 \(4^3=64\) 个控制点。每个输出点是控制点新位置的加权和。
\[\frac{\partial p^{\prime}}{\partial \Delta_{abc}}=B_{l,a}(u)B_{m,b}(v)B_{n,c}(w)\,\mathbf{I}_{3}.\]由 Eq. 3 直接得到。梯度可从点云距离穿过 FFD 回到每个控制点偏移，因此网络无需控制点 offset 标签。

二维教学切片

页面用 \(4\times4\) 控制格显示三维 FFD 的一个切片。移动右上区域的一个控制点，观察曲线如何由 Bernstein weights 连续传播。

控制格被移动控制点变形曲线

FFD 的平滑性来自低阶全局 basis 与共享控制点。它不会自动阻止局部自交，因此论文另外用相邻控制点平滑正则项减少剧烈变化。变形 field 可以应用到任意密度的点云，也可以对 mesh vertices 与相关属性使用同一映射。

Topology Limit

连续形变通常保留模板的连接关系与拓扑类型。它能拉伸椅背、压缩座面、改变机翼比例，却难以新建或删除部件、生成新的洞、修复错误的组件数量。论文展示的细节保留依赖模板已经含有这些细节。

点集监督：用在线对应衡量变形结果

目标 mesh 与模板 mesh 都在表面采样为点集。训练无需预先标注每个点的位移，点集距离在当前输出与目标之间建立对应。论文研究 EMD 与 Chamfer Distance，主实验最终使用 CD。

\[d_{\mathrm{EMD}}(S_1,S_2)=\min_{\phi:S_1\rightarrow S_2}\sum_{p\in S_1}\left\lVert p-\phi(p)\right\rVert_2,\qquad \phi\ \text{为双射}.\]Eq. 4。精确 EMD 需要等点数集合与 bipartite matching。论文训练版本预先用 Hungarian algorithm 在未变形模板和目标间算对应，因此只是当前变形 EMD 的近似。
\[d_{\mathrm{CD}}(S_1,S_2)=\sum_{p_1\in S_1}\min_{p_2\in S_2}\left\lVert p_1-p_2\right\rVert_2^2+\sum_{p_2\in S_2}\min_{p_1\in S_1}\left\lVert p_1-p_2\right\rVert_2^2.\]Eq. 5。双向 nearest-neighbor 项同时惩罚输出遗漏与额外区域；KD-tree 计算明显快于 EMD。
\[\mathcal{L}=d(S_{\mathrm{def}},S^{\ast})+\lambda_{\mathrm{off}}\sum_{p\in S}\left\lVert p^{\prime}-p\right\rVert_1+\lambda_{\mathrm{smooth}}\sum_{(a,b)\in\mathcal{E}_{\mathrm{grid}}}\left\lVert\Delta_a-\Delta_b\right\rVert_2^2.\]根据论文文字显式整理的总目标。第一项可取 CD 或 EMD；后两项分别限制总形变量并鼓励相邻控制点一致。论文只明确给出 control-point offset regularization 的 \(\lambda=0.05\)，没有分别公开两个系数及归一化方式。
Our Interpretation

CD 只关心点集覆盖，不直接惩罚 mesh faces 翻转或自交。FFD 与平滑正则提供几何先验，使点集目标更可能得到可用曲面；Table 2 显示该正则项提升的是视觉和 mesh 行为，点云距离反而轻微变差。

数据、训练与推理：论文公开到什么程度

项目论文设置复现含义
数据ShapeNet；airplane、bench、car、chair、sofa；共 22,324 个 shapesmesh 采样为 point clouds，再体素化给 3D encoder；查询图像由多角度合成渲染得到。
划分80% 训练／20% 测试没有逐类别数量、固定 split 文件或随机种子。
模板同类别 embedding Top-5 中随机一个训练与测试都随机；No Retrieval 实验改用同类别随机 shape。
点云训练 1024 pointsEMD 需要重采样到等点数；推理可将同一 FFD 用于 16384 points。
控制格\(N=4\)，共 64 个 control points网络输出 64 个三维 offsets。
框架／优化器TensorFlow；Adam；momentum term 0.95论文没有明确这是 \(\beta_1\) 还是其他 momentum 参数，也没有给出 \(\beta_2\)、epsilon、weight decay。
学习率初始 \(5\times10^{-4}\)；20k iterations 后降至 \(5\times10^{-5}\)没有最终 iteration 数、scheduler 余下阶段或 early stopping。
Batch / activation16；leaky ReLU没有给 slope、初始化与 normalization。
正则化\(\lambda=0.05\)论文称用于 control point offsets；两类正则的独立权重未完整披露。
硬件／时间未公开无法从论文恢复 GPU、训练时长、内存或精度设置。

推理过程

input: one RGB image
1. embed the image with the retrieval GoogLeNet
2. search the ShapeNet rendering database
3. choose one template from the same-category Top-5
4. sample and voxelize the template surface
5. encode image and voxelized template once
6. decode 64 control-point offsets once
7. apply the Bernstein FFD to every template point or mesh vertex
output: deformed point cloud; mesh connectivity can be inherited from the template

项目页面特别说明动画只是将模板到结果的变化可视化，网络形变本身是 one-shot。论文没有搜索、反向优化、重排序或多候选融合。真实照片先进行前景分割，再进入使用单色合成背景训练的网络。

Missing Settings

检索 embedding 维度、margin、渲染视角数量、图像分辨率的最终约定、各类别 split、训练总步数、Adam 全部参数、leaky ReLU slope、随机种子、GPU、训练时间与 exact regularizer formula 均未完整公开。

实验结果：主表显示细结构类别优势，也暴露模板上限

评测沿用 PSGN 的尺度：点云放进半径为 1 的 hemisphere，并与 ground plane 对齐；“1 unit”定义为三维 grid 边长的十分之一。所有数值是 average point-wise distance，越低越好。3D-R2N2 只有跨类别 mean，来自 PSGN 报告。

Table 1 · 五类别完整对比

CategoryChamfer Distance ↓Earth Mover's Distance ↓
OursRtrvNo RtrvPSGN3D-R2N2OursRtrvNo RtrvPSGN3D-R2N2
airplane0.100.150.200.14—0.560.640.741.15—
bench0.100.240.210.21—0.550.640.680.98—
car0.090.140.130.11—0.520.630.630.38—
chair0.130.190.270.33—0.510.620.700.77—
sofa0.210.300.370.23—0.770.830.840.60—
mean0.130.200.240.200.710.580.670.720.781.02

Ours 在五类 CD 全部最低；EMD 在 airplane、bench、chair 与 overall mean 最低，PSGN 在 car 与 sofa 更低。与 retrieval-only 相比，DeformNet mean CD 从 0.20 降到 0.13，mean EMD 从 0.67 降到 0.58。No Retrieval 的 mean CD 0.24 差于 PSGN 的 0.20，mean EMD 0.72 优于 PSGN 的 0.78；它只在平均 EMD 上超过 PSGN。检索对两个指标都提供了明显收益。

Figure 2 qualitative comparison
Figure 2（2017 arXiv 版）／Figure 3（WACV 正式版）：每行依次为查询图像、retrieved template、PSGN、DeformNet（CD 训练）与 ground truth。论文明确说明这些例子从四类中手工挑选，不能当作随机定性样本。
Paper Verified

论文数值支持 DeformNet 在细结构类别 chair 与 airplane 上相对 PSGN 的优势；car 和 sofa 的 EMD 由 PSGN 更低。作者据此把 PSGN 优势归因于“rotund and less detailed objects”，这仍是从五类结果提出的解释，没有独立形状复杂度量。

补充 Table 3 · CD 与 EMD 训练交叉评测

Train \ TestCD ↓EMD ↓
CD0.100.52
EMD0.110.50

该表使用与 Table 1、Table 2 略有不同的 test set。作者没有在视觉结果中观察到显著差异；CD 可用 KD-tree 高效求 nearest neighbors，因此主实验采用 CD。

消融与边界：数值、形状质量与拓扑需要分别判断

Table 2 · Skip connections 与 regularizer

配置CD ↓EMD ↓能够支持的判断
w/o skip0.1830.563移除 skip 明显损害 CD；EMD 反而低于 full。
w/o reg0.1250.582点集数值略优；不能据此判断 mesh 是否平滑。
full0.1270.585正则化的主要证据来自 mesh 行为与控制点一致性。
Figure 3 template sensitivity
Figure 3（2017 arXiv 版）／Figure 4（WACV 正式版）：516 组随机 template、output 与 ground truth。横轴是 input-to-GT CD，纵轴是 output-to-GT CD。散点多数靠近横轴说明网络常能改善差模板；论文没有给回归线、失败比例或相关系数。
Figure 4 sparse dense point clouds
Figure 4（2017 arXiv 版）／Figure 5（WACV 正式版）：同一个在 1024 点上训练的 FFD 被直接应用到 16384 点。该实验验证形变场的分辨率独立性，没有证明高密度输出新增了模板中缺失的几何细节。
Figure 5 real image reconstruction
Figure 5（2017 arXiv 版）／Figure 6（WACV 正式版）：前三个真实图像示例较合理，最后一个失败。输入先分割前景；没有真实数据定量指标、样本规模或随机抽样协议。
Figure 6 mesh regularizer
Figure 6（2017 arXiv 版）／Figure 7（WACV 正式版）：目标与模板主要在椅座厚度和高度上不同。正则化模型让相邻控制点一致压缩座面，未正则化模型产生不平滑位移。图中证明的是单个 mesh 案例，论文没有报告自交率或 mesh validity 统计。
Supplementary qualitative examples 1
Supplementary Figure（上半）：18 个 test examples 的前一组随机定性结果。
Supplementary qualitative examples 2
Supplementary Figure（下半）：18 个 test examples 的后一组。列顺序沿用 input、retrieval、PSGN、DeformNet、ground truth。
Author Claim

作者把 Figure 3 解读为模板质量鲁棒性，把 Figure 6 解读为 regularizer 带来更保守、平滑的 mesh deformation。现有实验支持方向性结论，缺少统计量与 mesh validity 指标，因此证据强度有限。

Paper vs. public artifacts：公开项目没有模型代码

核查对象是论文官方项目页及其 GitHub Pages 仓库 deformnet-site/DeformNet-website，commit cb88ee7a5af8baa5ef02bc42123f723f1770416d，提交日期 2017-10-15。仓库包含网页、32 组 collated results、对应动画、论文 PDF 与 grasp-transfer PDF。

项目论文／项目声称公开仓库核查影响
模型代码TensorFlow implementation没有 Python、TensorFlow、训练、推理或 checkpoint 文件无法逐层核对架构与重跑 Table 1–3。
数据ShapeNet，22,324 shapes网页只链接 ShapeNet；没有 splits、renderings 或 point samples随机 Top-5 模板与 80/20 split 无法精确复原。
结果项目页称 test outputs 为 random sampling网页公开 32 个静态结果与 one-shot deformation 动画可核查展示格式，无法复算指标。
主文 Figure 2论文说明 hand-picked from 4 categories项目额外图库说明为 random sampling两个集合的抽样协议不同，页面分别标注。
未来发布网页写将来补充 data 与 code directions核查提交仍没有相应链接截至本次核查没有确认到官方训练代码。
PDF：可获取arXiv TeX：可获取官方结果图库：可获取训练代码：未公开模型权重：未公开固定 split：未公开
Reproducibility Boundary

本页面核对论文 PDF、补充材料、arXiv TeX、WACV 出版记录、作者与实验室官方页面，以及官方项目仓库。没有下载 ShapeNet、训练模型或复算指标。公开资料不足以进行严格数值复现。

Reviewer commentary

Strengths

  • 把经典 FFD 写成可微层，点云距离可以直接训练控制点 offsets。
  • 检索模板提供完整性与可继承 connectivity，FFD 提供连续实例调整。
  • 同一形变可作用于不同密度点云与 mesh vertices，输出分辨率无需重新训练。
  • 论文同时报告 CD、EMD、retrieval-only、no retrieval、skip、regularizer、density、real images 与 mesh 案例。
  • 五类主表保留所有 baseline 行与逐类别数据，优势和失败类别都能核查。

Weaknesses

  • 拓扑由模板预先决定，错误部件数、孔洞和 disconnected components 难以修复。
  • 所谓 topology similarity 没有直接拓扑监督或检索指标。
  • 测试时使用同类别 Top-5，开放类别与类别预测误差没有评估。
  • 真实图像依赖预分割，仅有少量视觉例子。
  • 正则项改善 mesh 平滑，却缺少自交率、法向、watertightness 等统计。
  • 没有官方训练代码、权重、split 和完整超参数，复现性不足。
Paper Verified
在五类 ShapeNet 合成测试上，DeformNet 的平均 CD 0.13、平均 EMD 0.58，均优于论文列出的 PSGN 平均值 0.20、0.78。
Author Claim
方法兼有检索的细节与生成的灵活性，并对模板质量鲁棒。主表与散点图支持该方向，覆盖范围限于已知类别与固定数据协议。
Our Interpretation
DeformNet 的核心贡献是把输出空间限制为“一个数据库模板的低维平滑形变族”。这个 inductive bias 同时解释了稳定性、细节保留与拓扑上限。
Unresolved
控制点正则的精确公式与权重分配、retrieval 网络完整设置、固定 split、训练总步数及公开 checkpoint 均无法从官方资料恢复。
Research Extension

后续研究可以把单一模板改为可组合 part templates，并联合学习 retrieval uncertainty、拓扑编辑动作与 deformation field；训练时增加 self-intersection、Jacobian orientation、法向和 silhouette／renderer feedback。对 procedural material graph，可将“检索结构 + 连续参数形变”映射为“检索可执行 graph + 约束参数优化”，同时保留执行有效性。这些属于研究设想，原论文没有验证。

一手来源

  1. arXiv:1708.04672v1：提交时间、NIPS comment、作者元数据、12 页 PDF 合订本与 TeX source。
  2. IEEE WACV 2018 正式记录：DOI、正式会议身份与 pp. 858–866。
  3. Stanford Vision and Learning Lab publication list：正式作者拼写、共同贡献星号与 WACV 2018 身份。
  4. Jingwei Ji 作者主页：作者顺序、两位共同贡献作者与 WACV 2018。
  5. DeformNet 官方项目页：额外随机 test results、one-shot deformation 说明、ShapeNet 与 grasp-transfer 资料。
  6. 官方项目页仓库：commit cb88ee7a5af8baa5ef02bc42123f723f1770416d；用于核查公开文件边界。
  7. ShapeNet：训练与测试使用的三维 CAD 数据来源。
  8. Thomas W. Sederberg and Scott R. Parry. Free-Form Deformation of Solid Geometric Models. SIGGRAPH 1986：FFD 的原始参考。