NeRF 与 MVS：文化遗产三维重建的早期比较

One-screen verdict

先把证据边界说清楚

Paper verified

NeRF 补上了 MVS 的空缺

在具有大量相似高频纹理的花卉对象上，COLMAP 的 MVS 阶段失败；NeRF 仍生成新视角和三角网格。塔数据中，MVS 只重建一面立面，NeRF 展示出两面。

Paper verified

MVS 仍给出更细网格

塔案例中，作者明确指出 MVS mesh resolution 高于 NeRF。NeRF 的覆盖优势没有同时转化为更高表面分辨率。

Author claim

“适合提取度量信息”证据很窄

花卉只量了 4 条、长度 4–10 cm 的线段，绝对残差 1–2 cm；没有重复测量、标尺精度、相对误差或统计区间。

Our interpretation

更像可行性研究

它证明“原始 NeRF 可以被转换成可测网格并与摄影测量比较”，没有证明 NeRF 在文化遗产测绘上普遍优于 MVS。

阅读抓手：论文比较的并非两个完全独立的系统。两条管线都先用 COLMAP SfM 求相机位姿；NeRF 的优势发生在之后的场景表示与表面提取阶段。因此，“NeRF 在坏图像上替代传统摄影测量”的说法必须限定为：它仍依赖传统位姿估计成功。

Research motivation & formulation

丢失文化遗产：图像少、质量差、视角乱

历史照片常是已消失或已改变建筑的唯一痕迹。标准 SfM/MVS 需要足够的纹理、重叠视角和稳定成像条件；历史档案恰好经常缺少这些条件。作者的研究问题不是“谁生成的新视角更漂亮”，而是：当原始 NeRF 被提取成 mesh 后，它在困难图像上能否提供传统摄影测量缺失的几何，并且是否具有可接受的量测尺度。

共同输入

同一组静态场景 RGB 图像；由 COLMAP SfM 估计的相机外参与内参；NeRF 还需要 scene bounds。

比较输出

COLMAP MVS 的稠密点云／Poisson surface mesh，与 NeRF 密度场经过 marching cubes 得到的三角网格；最终以成功率、覆盖、视觉网格分辨率和少量距离误差比较。

两条管线实际在优化什么

MVS 通过多视图匹配恢复每像素深度与法线，再融合成稠密点云；其隐含目标是跨视图光度一致与几何一致。NeRF 则学习连续辐射场：给定空间位置 \(\mathbf{x}=(x,y,z)\) 与观看方向 \(\mathbf{d}\)，预测颜色和体密度：

\[ F_{\Theta}(\mathbf{x},\mathbf{d})=(\mathbf{c},\sigma). \]

这里 \(\Theta\) 是每个场景单独训练的 MLP 参数；\(\mathbf{c}=(r,g,b)\) 是视角相关颜色，\(\sigma\) 是只依赖位置的体密度。NeRF 原生输出可渲染场，而非有物理表面的测绘模型；论文额外对 \(\sigma\) 的规则网格采样并运行 marching cubes，才得到 mesh。

Mathematical model & pipeline

从像素射线到可比较网格

01图像与相机同图像集进入 COLMAP SfM，估计姿态、内参和场景边界。

02分叉重建一支运行 COLMAP MVS；另一支训练原始 NeRF。

03体渲染训练沿每条射线分层采样，coarse 与 fine 网络共同监督。

04表面提取密度场采样到规则格点，用 marching cubes 生成三角面。

05量测对齐花卉量线段；塔与 UAV mesh 在 CloudCompare 中比较。

原论文 Figure 1：NeRF 从位置与方向经 MLP 预测颜色和密度，再进行体渲染 — **Figure 1.** 原论文对 NeRF 的概览：射线上采样 5D 坐标，MLP 输出颜色与密度，体渲染合成像素并以图像误差训练。图源：论文 p.566，CC BY 4.0。

体渲染：密度如何变成一个像素

对射线 \(\mathbf{r}(t)=\mathbf{o}+t\mathbf{d}\)，连续颜色是沿深度的加权积分：

\[ C(\mathbf{r})=\int_{t_n}^{t_f}T(t)\,\sigma(\mathbf{r}(t))\,\mathbf{c}(\mathbf{r}(t),\mathbf{d})\,dt, \qquad T(t)=\exp\!\left(-\int_{t_n}^{t}\sigma(\mathbf{r}(s))\,ds\right). \]

\(T(t)\) 是光线从近端 \(t_n\) 到深度 \(t\) 尚未被吸收的透射率；\(T(t)\sigma(\mathbf{r}(t))\) 是该位置对最终像素的贡献权重。论文文字解释了这一机制，但未把积分公式完整排出；上式按其引用的原始 NeRF 形式补全，属于标准方法解释。

位置编码与 coarse-to-fine 采样

\[ \gamma(p)=\bigl(\sin(2^0\pi p),\cos(2^0\pi p),\ldots,\sin(2^{L-1}\pi p),\cos(2^{L-1}\pi p)\bigr). \]

位置编码把低维坐标投到多频正弦空间，使普通 MLP 能表达高频几何和颜色。每批随机取 4096 条像素射线；coarse 网络每条取 64 个样本，fine 网络再按 coarse 权重集中取 128 个样本。两者都对真实像素颜色监督：

\[ \mathcal{L}=\sum_{\mathbf{r}\in\mathcal{R}}\left(\left\|\widehat{C}_{c}(\mathbf{r})-C(\mathbf{r})\right\|_2^2+\left\|\widehat{C}_{f}(\mathbf{r})-C(\mathbf{r})\right\|_2^2\right). \]

\(\mathcal{R}\) 是当前 batch 的射线集合；\(C\) 为真实 RGB；\(\widehat{C}_{c}\) 与 \(\widehat{C}_{f}\) 分别是 coarse 与 fine 渲染。损失约束渲染一致性，不直接监督 mesh 顶点或真实表面距离；因此，从低重建误差推到度量几何准确仍需要独立测量。

Datasets & protocol

两个案例，两种难点，也有两种参考真值

Flower

人为构造的失败案例

作者采集 10 张图，按粗略网格从上到下拍摄；相邻视角最大视差遵循约不超过水平视场的 \(1/8\) 建议。花瓣具有重复、高频、相似图案，预期让特征匹配和 MVS 失败。

Tower

更接近文化遗产现场

巴黎 Tour Saint-Jacques 实地调查图像并非为 NeRF 设计。高塔迫使相机近距离仰拍，视角覆盖不均；它模拟历史档案的随机图像，但仍是现代、高质量实拍，不是真正的历史黑白档案。

Figure 2 flower 数据集样例 — **Figure 2.** flower 数据集选图。10 张图的完整分辨率、相机型号、曝光参数与公开下载地址均未给出。

Figure 3 tower 数据集样例 — **Figure 3.** tower 数据集选图。论文未报告总图像数、具体相机、焦距或训练／验证划分。

项目	Flower	Tower
对象	室内花卉，小物体	巴黎 Saint-Jacques 塔，文化遗产建筑
图像数	10	未报告
采集方式	粗略网格；为本研究采集	现场调查；并非按 NeRF 规范采集
预期难点	重复的高频相似纹理	近距离仰拍、视角分布不足
参考	对象表面 4 条直接测量	Iconem 的近期 UAV mesh
公开性	未给数据下载	未给数据或 UAV 模型下载

Results & evidence

结果数字很少，解释必须精确

数据集	NeRF	MVS	参考	可支持的结论
Flower	成功	失败	直接量测	在这一组重复纹理图像上，NeRF 表面提取比该次 COLMAP MVS 更鲁棒。
Tower	成功，两面	成功，一面	UAV mesh	在视角覆盖不足时，NeRF 输出的可见覆盖更完整；MVS 网格分辨率更高。

Figure 4 NeRF 生成的 flower 新视角 — **Figure 4.** NeRF 对 flower 合成的两个新视角。它验证了渲染能力，但不是几何准确性的直接证据。

Figure 5 flower 的 NeRF 网格 — **Figure 5.** 从 NeRF 密度场提取的 flower mesh 侧视图。外部存在悬浮片段，提示密度阈值与表面清理会影响量测。

Flower：4 条线段的绝对误差与相对误差

Figure 6 flower 表面直接量测位置 — **Figure 6.** AB、DC、EF、GH 四条量测线。论文没有报告量具、重复次数和网格尺度对齐方式。

线段	Mesh	参考	绝对残差	相对参考误差
AB	0.09 m	0.10 m	0.01 m	10.0%
DC	0.04 m	0.05 m	0.01 m	20.0%
EF	0.04 m	0.06 m	0.02 m	33.3%
GH	0.05 m	0.07 m	0.02 m	28.6%

原 Table 2 的列标为 cm，但数值 0.04–0.10 与正文“1–2 cm 残差”一致时，数值单位应解释为 m。若真按 cm，残差只有 0.1–0.2 mm，与正文冲突。页面保留这一原文单位歧义，并按正文语义换算。

Reviewer check：四条绝对残差的均值为 1.5 cm；若按参考长度归一化，平均相对误差约 23.0%。这并不否定模型可用于粗略尺度估计，但比“1–2 cm 看起来很小”更能说明：对 4–10 cm 的对象，误差比例并不小。上述相对误差是依据原表的再计算，不是作者报告的指标。

Tower：覆盖、分辨率与 mesh-to-mesh 距离

Figure 7 tower 的 MVS 与 NeRF 网格 — **Figure 7.** 同一 tower 图像集：左为 MVS，仅重建一面；右为 NeRF，显示两面。作者同时说明 MVS 网格分辨率更高。

Figure 8 NeRF 与 UAV 摄影测量网格距离 — **Figure 8.** NeRF mesh 与 Iconem UAV 参考 mesh 的 CloudCompare 距离图。论文称大多数差值约 \(0.003\,\mathrm{m}\)，但没有报告均值、中位数、RMSE、百分位数、尺度条、对齐残差或 M3C2 参数。

Paper verified

塔 mesh 的距离“通常约为 0.003 m”，作者认为在建筑语境可接受。

Author claim

NeRF 与 MVS 的结合是该方法的优势；论文没有实现自动融合算法，也没有展示融合后的单一模型。

Our interpretation

Figure 8 是彩色误差可视化，缺少分布统计，且只比较 NeRF 与 UAV 参考。由于 MVS 缺面，论文没有在同一有效区域给出 NeRF 与 MVS 的对称定量比较。

用不同目标重读结论

历史档案恢复：NeRF 对不完整视角与 MVS 失败案例给出补充几何，值得作为兜底分支；但相机位姿仍依赖 SfM，真正极端档案图像可能在第一步就失败。

Training, inference & reproducibility

可以复现“原始 NeRF”，难以复现“这两个实验”

环节	论文报告	复现缺口
相机求解	COLMAP SfM；特征检测、匹配与几何验证，再恢复结构与运动	COLMAP 版本、camera model、匹配策略和阈值未报告
MVS	COLMAP 深度／法线估计、融合、Poisson surface reconstruction	PatchMatch、融合、Poisson 参数与后处理未报告
NeRF 架构	原始官方实现；8 层、每层 256 channels；ReLU；位置编码；coarse/fine 网络	密度阈值、场景 bounds、随机种子未报告
训练	batch 4096 rays；每射线 64 coarse + 128 fine samples；Adam；约 300k iterations	学习率、\(\beta\) 参数、scheduler、数据缩放与 train/test views 未在本文报告；只能参考原始 NeRF 默认值
硬件与时间	CINECA Marconi100；NVIDIA V100；完整运行约 24 h	V100 数量、具体数据集对应耗时、显存、软件栈未报告
表面提取	marching cubes 从规则笛卡尔网格上的场提取三角面	网格分辨率、density iso-value、裁剪、去噪与尺度恢复未报告
度量	CloudCompare Mesh-to-Mesh；文中又描述 M3C2 plugin	到底使用原生 mesh distance 还是 M3C2 点云距离存在术语混用；配准、法线尺度、置信区间参数未报告

论文没有 prompt、agent、token 或 learned prior；它是每场景优化的经典 NeRF。训练输入是像素射线及真实 RGB，推理输出首先是 novel view，网格是额外离散化结果。停止条件约为 300k 次迭代，并非基于验证集早停。作者没有提供本研究的数据、配置文件、训练日志或提取 mesh 脚本。

公平性：两条方法共享图像和 SfM 位姿，算是同源输入；但比较没有匹配运行预算，也没有报告 MVS 的失败诊断或调参次数。NeRF 用约 24 小时 V100 训练，而 MVS 被描述为“通常更轻量”。因此结果说明“在作者采用的配置下出现这些现象”，不能说明预算相等时的算法极限。

Reviewer commentary

这篇 2021 论文的价值，在于问题意识早

Strengths

很早就把 NeRF 从 novel-view synthesis 拉到文化遗产的度量语境。
对同一图像集并行运行 NeRF 与 SfM/MVS，避免完全不同采集条件。
不只展示渲染图，还提取 mesh、量线段、引入 UAV 参考。
诚实报告 NeRF 24 小时计算成本与 MVS 更高 mesh resolution。

Weaknesses

只有两个案例，flower 仅 10 张图，缺少重复实验与统计。
tower 图像数和两组数据的关键采集参数缺失。
花卉表格单位与正文冲突；四条线段无法支持全面 metric accuracy。
塔实验缺少完整误差分布、对齐流程与 MVS 同区域的定量对照。
NeRF surface extraction 的 iso-value、网格分辨率和清理规则未给出。
“结合两种技术”停留在建议，未实现融合系统。

Ablation 缺席

没有图像数量、视角覆盖或分辨率消融。
没有 positional encoding／hierarchical sampling 消融；这些来自原始 NeRF。
没有 surface threshold 对几何的敏感性分析。
没有 NeRF-W、PixelNeRF 或动态 NeRF 对历史档案的实测。

论文真正证明了什么

Paper verified 在两个作者选定的数据集与未完全公开的配置上，原始 NeRF 能提取 mesh；其中一个数据集的 MVS 失败，另一个数据集上 NeRF 覆盖更多立面；报告的少量距离差值在厘米或毫米量级。

Evidence limited 这不足以证明 NeRF 对历史照片普遍更可靠，也不足以证明网格满足测绘、保护决策或形变监测的精度标准。真正的历史档案图、透明尺度恢复、已知 ground-truth scanner、跨场景统计与不确定性评估都缺失。

Research extensions

如果今天重做，应把“互补”变成可检验系统

Research extension

失败感知路由

先用 SfM/MVS 的 track length、重投影误差、深度一致性和 coverage 估计置信度；只在低置信区域调用 radiance-field reconstruction，形成有预算约束的混合系统。

Research extension

几何不确定性

对训练视角、密度阈值与随机种子 bootstrap，输出每个表面点的分布，而非单一 mesh。把“可看”与“可测”分成两个置信通道。

Research extension

真实档案压力测试

系统改变图像数量、重叠、模糊、压缩、黑白化、曝光和瞬态遮挡；比较 COLMAP、NeRF-W、现代 NeRF/3DGS 与传统 dense matching。

Research extension

同一区域、同尺度评测

以激光扫描或高精 UAV 模型为真值，固定配准，分别报告 accuracy、completeness、Chamfer、法向误差、尺度漂移与可见区域 mask，避免“缺面”让均值失真。

对 procedural material / inverse graphics 的启发不在于直接迁移 NeRF，而在于评测设计：视觉拟合目标可能在不可观察区域“补全”出看似合理的结构。renderer-in-the-loop 系统需要把外观误差、结构合法性、度量准确性和不确定性分开记录，尤其不能用单一感知相似度替代可编辑图结构或物理参数的验证。

References & provenance

一手来源

Condorelli, F., Rinaudo, F., Salvadore, F., Tagliaventi, S. (2021). 论文出版页与 PDF. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLIII-B2-2021, 565–570. DOI: 10.5194/isprs-archives-XLIII-B2-2021-565-2021.
Mildenhall et al. (2020). NeRF 官方项目页；作者公开实现. 用于核对论文采用的原始模型。
Schönberger & Frahm (2016). COLMAP 官方文档与项目. 用于 SfM/MVS 管线背景。
Lague, Brodu & Leroux (2013). M3C2 点云距离方法；CloudCompare 官方站.

本文页面依据正式出版 PDF 全 6 页逐页核对。所有嵌入图均裁自原论文 Figures 1–8，原论文采用 CC BY 4.0。未发现补充材料、项目数据页或本研究专属代码仓库。网页中的相对误差为由原 Table 2 数值计算的解释性派生量，已与作者原始结论区分。