跨 MiniCPM、Qwen2.5-VL、InternVL2.5 及多种模型规模工作。评分器和生成器是两个角色，78B 是被评估的 policy，不是 PRM 本身。
01 · 先理解结论，再理解代价
VisualPRM 不让回答模型重新训练，而是训练一个 8B 多模态过程评分器：同一道题先生成多条解答，再逐步打分，选出整体更可靠的一条。
约 40 万条带多步解答的训练样本、约 200 万步骤，通过 Monte Carlo 续写自动构建过程监督，不是 40 万条人工评分。
独立过程评测集的解答数与人工标注步骤数；它测逐步纠错能力，不能与七个任务的最终答案准确率混为一个指标。
Paper Verified：Best-of-8、温度 0.7 下，InternVL2.5-8B 从 32.8 到 41.2，78B 从 46.0 到 51.9；VisualProcessBench 的 overall F1 为 62.0。收益来自额外生成及筛选预算，不意味着原模型单次采样能力或权重本身提升。主文 Table 2–3
02 · 身份、版本与完整阅读范围
本文为 VisualPRM: An Effective Process Reward Model for Multimodal Reasoning，固定阅读 arXiv 2503.10291v1，2025-03-13。15 位作者依次为 Weiyun Wang、Zhangwei Gao、Lianjie Chen、Zhe Chen、Jinguo Zhu、Xiangyu Zhao、Yangzhou Liu、Yue Cao、Shenglong Ye、Xizhou Zhu、Lewei Lu、Haodong Duan、Yu Qiao、Jifeng Dai、Wenhai Wang。第一作者机构按首列为 Fudan University，另挂 Shanghai AI Laboratory；首页明确标记 Wenhai Wang 为通讯作者，因而是 verified，不需猜测末位角色。
本地合订 PDF 共 21 页：主文内容 1–8、参考文献 9–12、补充材料独立页码 1–9 对应 PDF 13–21。不能称“另有 21 页补充”。本页覆盖主文 §1–5、补充 §6–10，重建全部 8 表，展示 Fig.1–8 及所有附录面板。当前 arXiv 记录仅列 v1；不凭项目热度推断会议接收。版本记录
官方已提供 VisualPRM-8B、VisualPRM400K 与 VisualProcessBench。2025-04-11 另发布模型和数据 v1.1；产品发布 v1.1 不等于 arXiv v2。以下所有结果数字保持 v1 论文口径，公开推理代码的补充发现另作标识，不能拿新版本表现替换原表。原笔记与 PDF 字节不改动，元数据仅提出归档建议。
03 · 为什么“多想几次”还需要一个新模型
Best-of-N 的上限取决于候选里有没有正确答案，实际表现还取决于能否选出来。Self-Consistency 按最终答案投票，当多数候选重复同一种视觉误读时会失败；Outcome Reward Model 给整条答案一个分数，难以利用中间步骤；通用 MLLM 被提示逐步评判，常倾向把步骤全部说成正确。本文用专门的过程监督解决第三个问题，同时保持任意 policy 的候选生成接口。
第二个缺口是评价：直接比较不同 critic 的 BoN 要先付出 N 次 policy 生成成本，而且结果受 policy 分布影响。人工过程集把候选固定，可以单独测错步检测。区别于只找“第一个错步”的评测，VisualProcessBench 标注全部步骤：后续反思可能改正前面错误，不能把第一次失误后的所有步骤自动判负。
Our Interpretation：“推理过程质量”至少包含三个不同量：局部语句是否正确、给定前缀还能否走到正确答案、整条解答的最终答案是否正确。本文自动训练信号主要是第二个量，人类 benchmark 更接近第一个量，BoN 任务则测第三个量。它们相关但不等价，是理解论文贡献和局限的主线。Introduction 与 §3
04 · VisualPRM400K 的实际构建过程
每个样本包含图像 \(I\)、问题 \(q\)、步骤序列 \(s=(s_0,\ldots,s_n)\) 与对应 Monte Carlo 值。图像与题目来自 MMPR v1.1，解答由 InternVL2.5 系列采样。每个图像–题目采样 4 条解答，每条最多 12 步，超过上限则均匀合并步骤。每个前缀再采样 16 条续写，统计最终答案正确的比例。注意论文从下标 0 写到 n，实际项数为 n+1；正文又称 n 为步骤数，复现时宜统一用 L 表示实际长度。
\[\widetilde s_{\gt i}^{(j)}\sim M(\,\cdot\mid I,q,s_{\le i}),\qquad
\widehat v_i=mc_i=\frac{1}{16}\sum_{j=1}^{16}\mathbf 1\{\operatorname{Ans}(s_{\le i}\oplus\widetilde s_{\gt i}^{(j)})=a^{\ast}\}.\]
这是 Eq.(1–2) 的明确展开：M 为生成续写的策略，\(a^{\ast}\) 为用于判定正确性的目标答案；最终答案抽取/等价比较的具体实现必须额外核实，论文没有给所有任务通用判分器的完整模板。MC 标签不是从当前句子的逻辑证明直接获得，也不是人工逐步注释。续写可以修复错误前缀，或因为同样的视觉偏差而永远失败。
数据约 400K samples、2M steps；每条解答平均 126.9 words、5.6 steps，每步平均 22.6 words，约 10% 步骤为负。400K×5.6≈2.24M 与“约 2M”的关系是报告粒度差异，不能当精确计数。按约 2M×16 估计需要约 3,200 万次前缀续写，但这是量级推算，非作者报告的 API 次数、GPU 时间或费用。每题 4 条解答也不能未经去重核查就反推出精确独立题目数。
\[c_i=\begin{cases}+,&mc_i\gt 0,\\-,&mc_i=0.\end{cases}
\qquad \Pr(c_i=+\mid p_i)=1-(1-p_i)^{16}.\]
Our Interpretation：后式在 16 次独立同分布续写假设下成立。即便真实可达正确答案概率只有 0.05，得到正标签概率也约为 0.56；而某一步 16 次全错不证明它逻辑必错。有限采样、policy 能力和“至少一次成功”规则共同塑造标签。增加 rollout 次数会改变标签分布，本工作没有把该因素全面消融。
Fig.2 上半部分的 MC 值可升可降，最终错误答案对应零；下半部分人工步骤标签允许错误之后出现正确步骤。两种监督不要互相替代。图中 “Neural” 为原文拼写，语义是 neutral / 中性，不是“神经步骤”。
05 · value、advantage 与训练目标
数据被改写成多轮对话：首轮给图像、题目与第一步，其后每轮只增加下一步，模型回答当前步的质量 token。value-based 用 {+,−}，advantage-based 用 {+,=,−}，分别代表 MC 值上升、持平、下降。训练所有步骤，不在第一个负标签之后截断监督。这里训练的是 critic，不是用奖励在线强化学习 policy。
\[p_{\theta}(y_i\mid I,q,s_{\le i}),\qquad
\mathcal L_{\mathrm{token}}=-\sum_{i=0}^{L-1}\log p_{\theta}(y_i^{\ast}\mid I,q,s_{\le i}).\]
第一式对应论文 Eq.(3)，第二式为标准离散 token 监督的教学展开，不是额外的论文编号损失；真实 chat 序列还包含历史质量回复和模板。论文没有完整展开 loss masking、不同 step 的权重或 padding 规则。无需发明一个回归头、MSE loss 或隐式 reward scalar head。
\[a_i=\operatorname{sign}(mc_i-mc_{i-1}),\qquad
r_i^{V}=p_i(+),\qquad r_i^{A}=p_i(+)-p_i(-).\]
value 分数在 [0,1]，advantage 分数在 [−1,1]。对于第一步，前一步 MC 的约定应在数据生成代码中核实，论文未明示；不能默设 mc 的初值并称为原始设置。作者认为 advantage 较弱是自动标签噪声使差分更难学习，这是解释而非已分离的因果证据。
训练监督为“存在一次可成功续写”而不是精确 MC 回归，所以即使 \(r_i^V\) 是概率，也不应直接理解成 rollout 的真实成功率，更不能理解成形式证明通过率。标签定义、预测置信度与校准质量必须分开。
06 · 从单步分数到 Best-of-N
\[S(s)=\frac{1}{L}\sum_{i=0}^{L-1}r_i,\qquad
s^{\ast}=\operatorname*{arg\,max}_{s\in\{s^{(1)},\ldots,s^{(N)}\}}S(s).\]
- 固定 policy，默认温度 0.7 为同题采样 N=8 条 step-by-step 解答。并非保证语义各不相同，也没有搜索树或局部回溯。
- 对每条解答分步，构造成多轮评分输入。图像、题目始终是评分条件，不能只评语言是否流畅。
- 用 + 作为 assistant 回复占位，一次前向获得该候选所有步骤的 +/− logits，再形成概率。
- 默认取各步均值，跨候选排序选最高分，使用该条候选的最终答案完成评测。无需生成完整自然语言评分报告。
效率边界：“single forward pass”指同一候选的所有步骤，不是 N 条候选必然一起、也不是生成+评判只调用一次模型。公开 select_best_response 按 response_list 顺序循环；逐候选仍计算图像特征，没有在该函数中看到跨候选图像缓存或 batch 支持。额外采样成本通常远大于 Pass@1，论文没有完整墙钟时间、吞吐或 FLOPs 表。
均值可以减弱单个噪声分数，但允许一处致命错误被许多高分“热身步骤”稀释；min 对单个误判非常敏感；max 几乎只问“有没有任何看起来正确的一步”。论文的消融验证的是特定数据分布下平均较好，不是所有验证任务中平均有最优性。单次前向与占位符说明
07 · 架构、训练配方与真正公开的设置
Paper Verified：评分器为 8B；补充 §6 给出 data packing、AdamW、\(\beta_1=0.9,\ \beta_2=0.999\)、weight decay 0.05、学习率 \(10^{-5}\)、5% 线性 warmup、随后 cosine decay 到 0、1 epoch。没有公开 batch size、GPU 型号/数量、训练时间、梯度累积、clip norm、随机种子及每类源数据的完整采样权重。
Implementation Verified：原版 HF 配置表明基于 InternVL2_5-8B，语言组件 internlm2_5-7b-chat：32 层、hidden 4096、32 attention heads、8 KV heads，词表 92,553；vision 配置为 24 层、hidden 1024、16 heads、14 像素 patch；输入块 448²，动态 1–12 块，并可加 thumbnail；downsample ratio 0.5。视觉 token 数由每边 448/14=32，经 0.5 下采样后为 16²=256/块，这是由配置和模块公式推得，不是论文独立实验数值。
配置中的 architecture 为 InternVLRewardModel；没有单独 scalar reward head 的声明，公开评分实现直接读取语言模型 token logits。use_backbone_lora 与 use_llm_lora 均为 0；这能说明发布配置不启用这些 LoRA，但不足以证明每个底层参数在训练中均解冻。论文未给分模块冻结清单，应将这一项保留为未知。不要因 vision_config 的历史 model_type 字符串含 “6b” 就把实际视觉部分称为 6B，具体层宽与层数才是当前配置。
| 环节 | 已知 | 未确定 / 易混淆 |
|---|---|---|
| 候选生成 | BoN 默认 8；temperature 0.7；最多报告到 128 | 未公开统一 top-p/top-k、最长生成长度与每个 proprietary 版本的完整采样配置 |
| 训练监督 | 4 解答/题，16 续写/步，最多 12 步，mc>0 为正，监督全部步 | 精确训练数据规模、rollout policy 混合比、续写预算与 verifier 细节 |
| 发布推理 | BF16 CUDA 示例；ImageNet mean/std；bicubic resize；token 概率评分 | 示例精度与预处理不自动等于全部论文实验的训练配置 |
| 规模对照 | 同一 8B PRM 给 8B/26B/38B/78B policy 评分 | 没有 PRM 的 26B/78B 版本消融，不应将 policy scaling 写为 critic scaling |
补充 §6 · 发布配置。配置包含的通用 generation 默认值不等于论文的 policy 超参，不能把 top_k=50 自动搬进所有表格设置。
08 · VisualProcessBench：标注设计与评价口径
原 Table 1 · 全部行列
| Statistics | Number |
|---|---|
| Total Samples | 2866 |
| - MMMU [90] | 267 |
| - MathVision [78] | 712 |
| - MathVerse [93] | 1026 |
| - DynaMath [99] | 570 |
| - WeMath [60] | 291 |
| Source Solutions | 2866 |
| - GPT-4o [58] | 870 |
| - Claude-3.5-Sonnet [4] | 865 |
| - QvQ-72B-Preview [72] | 825 |
| - InternVL2.5-78B [15] | 306 |
| Total Steps | 26950 |
| - Correct Steps | 16585 |
| - Incorrect Steps | 7691 |
| - Neural Steps | 2674 |
| Query Word Length Quartile | (22, 24, 50) |
| Response Word Length Quartile | (137, 193, 552) |
| Step Word Length Quartile | (13, 31, 67) |
| Number of Steps per Solution | 9.4 |
原表来源；正文已标明保留的数值疑点
来源为 MMMU、MathVision、MathVerse、DynaMath、WeMath 五组。人工标注由 13 名至少大学学历的专家完成 3 天，共 39 人日、约 37 美元/人日；乘积约 1,443 美元，仅为文中人日费用推算，不能视为包含采样、质控与基础设施的项目总成本。标注者看到图像、问题、真值答案和每一步，可以跳过不懂的题。10 份各约 300 条，作者抽查每份约 10%，错误份退回重标；未报告双盲协议、每题多标注人数或 inter-annotator agreement。
26,950 步中 correct 16,585、incorrect 7,691、neutral 2,674，三者总和完全相符。中性步在 F1 计算时排除，因此实际二分类评价约 24,276 步，正例约占 68.3%。数据卡的 process_correctness 为 1/0/−1，0 代表 neutral，不能合并到错误类。正文来源段提到 Gemini-2.0-Flash，但 Table 1 的生成器计数仅有四个模型，且 870+865+825+306 已等于 2,866；应保留这项文表不一致，不能虚构第五个数量。
\[F_1^{(+)}=\frac{2TP}{2TP+FP+FN},\qquad
F_1^{(-)}=\frac{2TN}{2TN+FP+FN},\qquad
F_{\mathrm{macro}}=\frac{F_1^{(+)}+F_1^{(-)}}{2}.\]
这是二分类 macro F1 的教学写法。Table 3 caption 称 overall 是不同数据来源的 micro average，与七任务性能表的算术平均不同；不能直接平均五个 source 的 F1 来复算 62.0，需按官方评测脚本的聚合方式。文中 random guessing 行写 50.0；在不平衡数据下，均匀随机预测的期望 macro F1 不必精确为 50，应视为作者报告的参考基线，不能作普遍公式。
PRM 的训练阈值 mc>0、实际 soft score 的判断阈值、以及 benchmark 的正确/错误定义是三个不同对象。正文称 PRM 比较 + 与 − 概率的差超过阈值，没有把它作为通用 0.5 标准；公开 helper 默认 score>0.8。必须明确所用脚本、版本和 threshold 才能对齐 62.0，而不是调参到结果吻合。
09 · 七个任务的全部主结果
原 Table 2 · 全部行列
| Model | MMMU | MathVista | MathVision | MathVerse-VO | DynaMath | WeMath | LogicVista | Overall |
|---|---|---|---|---|---|---|---|---|
| Proprietary Models | ||||||||
| GPT-4o [58] | 70.7 | 60.0 | 31.2 | 40.6 | 34.5 | 45.8 | 52.8 | 47.9 |
| Gemini-2.0-Flash [61] | 69.9 | 70.4 | 43.6 | 47.8 | 42.1 | 47.4 | 52.3 | 53.4 |
| Claude-3.5-Sonnet [4] | 66.4 | 65.3 | 35.6 | 46.3 | 35.7 | 44.0 | 60.4 | 50.5 |
| Open-source Models | ||||||||
| MiniCPM-V2.6-8B [89] | 49.8 | 60.8 | 23.4 | 18.9 | 9.8 | 16.4 | 27.5 | 29.5 |
| +VisualPRM | 56.8 | 65.7 | 24.7 | 35.8 | 11.2 | 31.0 | 37.4 | 37.5 |
| +7.0 | +4.9 | +1.3 | +16.9 | +1.4 | +14.6 | +9.8 | +8.0 | |
| Qwen2.5-VL-7B [7] | 55.0 | 67.8 | 25.4 | 41.1 | 21.0 | 35.2 | 44.1 | 41.4 |
| +VisualPRM | 58.6 | 70.3 | 31.3 | 44.3 | 23.0 | 39.8 | 48.3 | 45.1 |
| +3.6 | +2.5 | +5.9 | +3.2 | +2.0 | +4.6 | +4.2 | +3.7 | |
| InternVL2.5-8B [15] | 56.2 | 64.5 | 17.0 | 22.8 | 9.4 | 23.5 | 36.0 | 32.8 |
| +VisualPRM | 60.2 | 68.5 | 25.7 | 35.8 | 18.0 | 36.5 | 43.8 | 41.2 |
| +4.0 | +4.0 | +8.7 | +13.0 | +8.6 | +13.0 | +7.8 | +8.4 | |
| InternVL2.5-26B [15] | 60.7 | 68.2 | 23.4 | 24.0 | 11.4 | 30.9 | 39.6 | 36.9 |
| +VisualPRM | 63.9 | 73.1 | 29.6 | 39.1 | 23.2 | 40.8 | 51.0 | 45.8 |
| +3.2 | +4.9 | +6.2 | +15.1 | +11.8 | +9.9 | +11.4 | +8.9 | |
| InternVL2.5-38B [15] | 63.9 | 71.9 | 32.2 | 36.9 | 20.0 | 38.3 | 47.9 | 44.4 |
| +VisualPRM | 69.0 | 73.9 | 35.2 | 46.7 | 30.5 | 46.2 | 53.7 | 50.7 |
| +5.1 | +2.0 | +3.0 | +9.8 | +10.5 | +7.9 | +5.8 | +6.3 | |
| InternVL2.5-78B [15] | 70.0 | 72.3 | 32.2 | 39.2 | 19.2 | 39.8 | 49.0 | 46.0 |
| +VisualPRM | 70.7 | 75.1 | 35.9 | 47.1 | 31.3 | 49.1 | 53.9 | 51.9 |
| +0.7 | +2.8 | +3.7 | +7.9 | +12.1 | +9.3 | +4.9 | +5.9 | |
原表来源；正文已标明保留的数值疑点
MMMU 测多学科；MathVista、MathVision、MathVerse、DynaMath、WeMath 为数学相关；LogicVista 为逻辑题。MathVerse 使用 Vision-Only split，DynaMath 使用 worst-case accuracy，其余为整体准确率；Overall 为七项等权平均，并非把所有样本混在一起的总体正确率。部分 proprietary baseline 数字来自 OpenCompass 排行榜，采样条件不一定完全相同。
跨家族收益：MiniCPM 29.5→37.5（+8.0），Qwen2.5-VL-7B 41.4→45.1（+3.7）；InternVL 8B/26B/38B/78B 分别 +8.4/+8.9/+6.3/+5.9。78B 的 MMMU 只有 +0.7，DynaMath 则 +12.1，说明收益强度依任务与候选分布变化，并非所有指标等量提升。不能把这些百分点写为相对百分比。
源数据校验：原表 26B MathVerse 24.0→39.1 的增益为 +15.1；官方博客一处写 +15.2，本页保留论文值及可核算的差。表中相同 checkpoint 的 Pass@1 与 BoN 不涉及 policy 再训练，因此“小模型+PRM”比较还必须同时计入多个候选生成和额外 8B 模型的代价。文中未给错误条或重复采样置信区间，不能将 0.1 分差视为显著改善。
10 · 能认出错误，比会给正面评价更重要
原 Table 3 · 全部行列
| Model | MMMU | MathVision | MathVerse-VO | DynaMath | WeMath | Overall |
|---|---|---|---|---|---|---|
| Random Guessing | 50.0 | 50.0 | 50.0 | 50.0 | 50.0 | 50.0 |
| Proprietary Models | ||||||
| GPT-4o-Mini [58] | 53.6 | 58.9 | 57.1 | 56.7 | 58.5 | 57.9 |
| GPT-4o [58] | 56.3 | 60.2 | 59.7 | 59.0 | 63.3 | 60.3 |
| Gemini-2.0-Flash [61] | 58.5 | 60.1 | 62.8 | 66.7 | 58.7 | 62.3 |
| Open-source Models | ||||||
| MiniCPM-V2.6-8B [89] | 44.9 | 50.9 | 58.9 | 46.7 | 57.4 | 50.4 |
| LLaVA-OV-7B [35] | 45.7 | 43.0 | 42.2 | 44.7 | 52.5 | 44.4 |
| LLaVA-OV-72B [35] | 46.1 | 48.4 | 53.0 | 57.0 | 57.3 | 52.3 |
| Qwen2.5-VL-7B [7] | 53.1 | 51.8 | 47.8 | 51.3 | 54.2 | 51.0 |
| Qwen2.5-VL-72B [7] | 59.2 | 59.0 | 59.7 | 62.9 | 62.3 | 60.5 |
| InternVL2.5-8B [15] | 47.1 | 45.5 | 47.8 | 50.3 | 50.8 | 48.0 |
| InternVL2.5-26B [15] | 48.8 | 47.4 | 49.2 | 50.4 | 51.4 | 49.2 |
| InternVL2.5-38B [15] | 51.5 | 48.4 | 50.9 | 51.8 | 52.5 | 50.8 |
| InternVL2.5-78B [15] | 52.0 | 51.7 | 53.7 | 50.8 | 52.5 | 52.6 |
| VisualPRM (ours) | 58.5 | 62.1 | 61.0 | 62.7 | 61.8 | 62.0 |
原表来源；正文已标明保留的数值疑点
VisualPRM overall 62.0 比 InternVL2.5-8B 的 48.0 高 14.0，较 78B 的 52.6 高 9.4；比 Qwen2.5-VL-72B 的 60.5 高 1.5。与 GPT-4o 60.3 比高 1.7，但低于 Gemini-2.0-Flash 的 62.3，不能称“所有模型最佳”。开源行里领先，是本表条件下的结论，不代表当前所有后来发布模型。
作者检查发现普通 MLLM 容易给正标签：InternVL2.5-8B 正类 F1 76.8、负类仅 19.2，平均 48.0。它会解题不等于擅长找错；在这类正例多的分布上只看 accuracy 容易掩盖失败。反过来，VisualPRM 的 62.0 仍远非可靠证明器，评分错误可能在更大 N 时被选择机制放大。
作者称其相对 proprietary models 更高效，但没有独立的同硬件时延测量或这些闭源模型的真实计算规模；应将“8B 与单次前向的结构优势”和“定量效率结论”分开。§4.2
11 · value、全部步骤和均值为什么胜出
原 Table 4 · 全部行列
| Critic Model | BoN | VL-ProcessBench |
|---|---|---|
| Pass@1 | 32.8 | - |
| Random Guessing | 33.0 | 50.0 |
| InternVL2.5-8B | 33.2 | 48.0 |
| InternVL2.5-78B | 34.2 | 52.6 |
| Advantage-based PRM | ||
| +Min | 36.8 | 55.0 |
| +Max | 36.9 | 55.0 |
| +Average | 37.4 | 55.0 |
| Value (w. early stop) | ||
| +Min | 40.3 | 61.6 |
| +Max | 37.0 | 61.6 |
| +Average | 40.6 | 61.6 |
| Value (w/o early stop) | ||
| +Min | 40.4 | 62.0 |
| +Max | 35.9 | 62.0 |
| +Average | 41.1 | 62.0 |
原表来源；正文已标明保留的数值疑点
value + average + 不提前停止为 41.1 BoN / 62.0 F1；只监督到第一个错步为 40.6 / 61.6。收益分别 0.5 与 0.4，方向符合恢复/反思动机，但没有统计检验，也不能凭此断言训练出了强反思能力。advantage + average 仅 37.4 /55.0；正文将差异归因到 MC 噪声，尚缺 rollout 次数和真实人工标签的受控对照。
value 不早停时 min 40.4、max 35.9、average 41.1。多数解答开头有接近 1 的高分步骤，max 不能区分最终解答；min 容易被单步噪声惩罚。聚合方法不影响逐步 benchmark F1，故同一 PRM 的 F1 列重复是正确的，不是实验没更新。Table 4 的 41.1 与主表 Table 2 的 41.2 不一致，论文没有明确解释；不要擅自把一处修成另一处。
原 Table 8 · 全部行列
| Model | MMMU | MathVista | MathVision | MathVerse-VO | DynaMath | WeMath | LogicVista | Overall | VL-ProcessBench |
|---|---|---|---|---|---|---|---|---|---|
| Threshold | |||||||||
| Threshold=0.00 | 59.3 | 68.5 | 25.7 | 35.8 | 18.0 | 36.5 | 43.8 | 41.1 | 62.0 |
| Threshold=0.625 | 59.7 | 66.8 | 24.7 | 36.7 | 18.4 | 35.0 | 41.8 | 40.4 | 61.0 |
| Threshold=0.125 | 58.0 | 67.9 | 27.6 | 35.4 | 17.4 | 35.3 | 41.6 | 40.5 | 60.7 |
| Threshold=0.25 | 58.6 | 67.6 | 25.7 | 33.6 | 16.8 | 36.0 | 41.4 | 40.0 | 60.2 |
| Temperature | |||||||||
| Temperature=0.3 | 59.7 | 69.4 | 26.0 | 32.6 | 17.6 | 35.5 | 42.7 | 40.5 | - |
| Temperature=0.7 | 59.3 | 68.5 | 25.7 | 35.8 | 18.0 | 36.5 | 43.8 | 41.1 | - |
| Temperature=1.0 | 61.7 | 67.2 | 27.3 | 35.8 | 16.6 | 34.2 | 43.2 | 40.9 | - |
| Temperature=1.3 | 57.9 | 66.1 | 25.0 | 32.1 | 16.8 | 31.9 | 40.5 | 38.6 | - |
原表来源；正文已标明保留的数值疑点
训练 mc 阈值为 0 时最好；提高到原表标为 0.625、0.125、0.25 后，BoN 为 40.4/40.5/40.0，F1 为 61.0/60.7/60.2。0.625 这一项在 PDF 与 arXiv HTML 都如此印出，与 1/16=0.0625 容易混淆，未见勘误，不改为看起来更合理的数。该表并非单调排列，不能用其排版暗示完整阈值 sweep。
temperature 0.3/0.7/1.0/1.3 对应 overall 40.5/41.1/40.9/38.6，支持多样性与单次正确率之间的局部折中。这里 0.7 行 MMMU 为 59.3，而主表为 60.2，又导致 overall 41.1 vs 41.2；这是表间差异，不能虚构是不同 seed。最小复现应保留这两套报告，并注明无法从正文消除。
12 · N 从 1 到 128：完整数据与收益递减
原 Table 6 · 全部行列
| Model | BoN | MMMU | MathVista | MathVision | MathVerse-VO | DynaMath | WeMath | LogicVista | Overall |
|---|---|---|---|---|---|---|---|---|---|
| Self Consistency | 1 | 56.2 | 64.5 | 17.0 | 22.8 | 9.4 | 23.5 | 36.0 | 32.8 |
| 8 | 58.0 | 65.9 | 23.4 | 30.5 | 18.4 | 32.7 | 43.0 | 38.8 | |
| 16 | 58.6 | 65.8 | 26.3 | 32.1 | 19.4 | 33.0 | 43.4 | 39.8 | |
| 32 | 60.4 | 66.7 | 28.0 | 32.6 | 20.8 | 34.1 | 44.7 | 41.0 | |
| 64 | 59.7 | 66.7 | 26.6 | 33.2 | 20.6 | 35.8 | 43.4 | 40.9 | |
| 128 | 60.6 | 67.4 | 25.7 | 32.0 | 22.6 | 34.7 | 43.2 | 40.9 | |
| VisualORM | 1 | 56.2 | 64.5 | 17.0 | 22.8 | 9.4 | 23.5 | 36.0 | 32.8 |
| 8 | 60.2 | 67.0 | 25.3 | 32.5 | 16.4 | 35.0 | 41.8 | 39.7 | |
| 16 | 58.3 | 67.7 | 27.0 | 33.6 | 16.6 | 33.1 | 39.1 | 39.3 | |
| 32 | 58.6 | 67.9 | 26.3 | 33.6 | 17.4 | 34.4 | 42.1 | 40.0 | |
| 64 | 59.4 | 66.8 | 28.6 | 33.9 | 17.8 | 34.1 | 42.3 | 40.4 | |
| 128 | 59.4 | 66.6 | 28.3 | 33.5 | 16.8 | 32.3 | 40.9 | 39.7 | |
| VisualPRM | 1 | 56.2 | 64.5 | 17.0 | 22.8 | 9.4 | 23.5 | 36.0 | 32.8 |
| 8 | 60.2 | 68.5 | 25.7 | 35.8 | 18.0 | 36.5 | 43.8 | 41.2 | |
| 16 | 60.2 | 69.9 | 27.3 | 36.4 | 19.0 | 38.8 | 42.5 | 42.0 | |
| 32 | 60.3 | 70.4 | 29.6 | 37.8 | 17.2 | 40.3 | 43.4 | 42.7 | |
| 64 | 61.4 | 69.6 | 30.6 | 38.2 | 18.8 | 40.2 | 45.4 | 43.5 | |
| 128 | 61.7 | 70.8 | 30.3 | 39.3 | 19.4 | 40.9 | 45.4 | 44.0 |
原表来源；正文已标明保留的数值疑点
原 Table 7 · 全部行列
| Model | BoN | MMMU | MathVista | MathVision | MathVerse-VO | DynaMath | WeMath | LogicVista | Overall |
|---|---|---|---|---|---|---|---|---|---|
| Self Consistency | 1 | 49.8 | 60.8 | 23.4 | 18.9 | 9.8 | 16.4 | 27.5 | 29.5 |
| 8 | 51.8 | 58.9 | 21.7 | 31.5 | 10.0 | 22.6 | 35.6 | 33.2 | |
| 16 | 51.7 | 60.2 | 21.7 | 31.5 | 11.6 | 25.7 | 35.3 | 34.0 | |
| 32 | 52.2 | 60.1 | 24.3 | 33.1 | 11.4 | 24.3 | 36.0 | 34.5 | |
| 64 | 51.7 | 61.0 | 23.4 | 34.8 | 12.8 | 25.8 | 35.3 | 35.0 | |
| 128 | 53.2 | 61.7 | 25.7 | 33.5 | 13.0 | 25.6 | 35.6 | 35.5 | |
| VisualORM | 1 | 49.8 | 60.8 | 23.4 | 18.9 | 9.8 | 16.4 | 27.5 | 29.5 |
| 8 | 55.7 | 66.0 | 22.0 | 33.5 | 10.2 | 24.1 | 38.9 | 35.8 | |
| 16 | 56.4 | 65.3 | 24.0 | 32.1 | 10.4 | 27.3 | 36.5 | 36.0 | |
| 32 | 58.8 | 64.8 | 19.7 | 35.7 | 12.0 | 29.4 | 38.5 | 37.0 | |
| 64 | 58.2 | 67.3 | 22.7 | 35.5 | 11.0 | 30.1 | 37.6 | 37.5 | |
| 128 | 58.2 | 66.5 | 25.3 | 35.4 | 11.6 | 30.0 | 40.7 | 38.2 | |
| VisualPRM | 1 | 49.8 | 60.8 | 23.4 | 18.9 | 9.8 | 16.4 | 27.5 | 29.5 |
| 8 | 56.8 | 65.7 | 24.7 | 35.8 | 11.2 | 31.0 | 37.4 | 37.5 | |
| 16 | 58.8 | 68.6 | 24.0 | 37.3 | 12.4 | 32.7 | 39.8 | 39.1 | |
| 32 | 57.8 | 68.4 | 26.6 | 38.5 | 13.4 | 35.3 | 39.1 | 39.9 | |
| 64 | 58.6 | 69.4 | 25.3 | 39.7 | 12.2 | 38.2 | 36.9 | 40.0 | |
| 128 | 59.3 | 69.4 | 25.3 | 39.1 | 14.4 | 37.0 | 38.3 | 40.4 |
原表来源；正文已标明保留的数值疑点
InternVL2.5-8B 的 PRM BoN 从 8 候选 41.2 到 128 候选 44.0，只再增加 2.8 分，却把候选数扩大 16 倍。MiniCPM 同样从 37.5 到 40.4，增加 2.9。每候选长度与实际硬件吞吐未知，不能简单把 16 倍候选数写成 16 倍实测时延，但“更大的 N 不是免费的”非常明确。
InternVL 的 N=8 时 PRM 比 SC 38.8 高 2.4、比 ORM 39.7 高 1.5；N=128 时比 SC 40.9 高 3.1、比 ORM 39.7 高 4.3。ORM 在 N=64 的 40.4 到 N=128 的 39.7 下降，说明采样更多可能放大评分器偏差。单任务并不全部单调，例如 InternVL PRM DynaMath 19.0→17.2（N=16→32），所以“持续提升”主要针对该组 overall 趋势。
ORM 使用几乎相同训练样本，将所有步骤拼成一条并把过程标注转成 outcome label；这比无控制跨数据比较更合理，但仍需知道标签聚合细节与训练预算才能声称纯粹验证监督粒度因果效应。SC 不使用额外 critic，PRM 与 SC 在算力上并非等价预算。论文没有报告 oracle pass@N，因此无法区分剩余误差来自候选不足还是排序失败。
13 · 文本任务的迁移与数值小心事项
原 Table 5 · 全部行列
| Model | GSM8K | MATH-500 | GPQA |
|---|---|---|---|
| Large Language Models | |||
| Qwen2.5-7B [88] | 91.6 | 75.5 | 36.4 |
| +VisualPRM | 94.5 | 81.6 | 41.4 |
| +2.9 | +6.1 | +5.0 | |
| Qwen2.5-32B [88] | 95.9 | 83.1 | 49.5 |
| +VisualPRM | 96.1 | 85.4 | 53.5 |
| +0.2 | +2.3 | +4.0 | |
| Qwen2.5-72B [88] | 95.8 | 83.1 | 49.0 |
| +VisualPRM | 96.5 | 85.2 | 55.6 |
| +0.7 | +2.1 | +6.6 | |
| Multimodal Large Language Models | |||
| InternVL2.5-8B [15] | 81.9 | 56.8 | 29.3 |
| +VisualPRM | 82.9 | 66.2 | 34.3 |
| +1.1 | +9.4 | +5.0 | |
| InternVL2.5-38B [15] | 94.6 | 75.4 | 44.4 |
| +VisualPRM | 95.6 | 80.0 | 52.5 |
| +1.0 | +4.6 | +8.1 | |
| InternVL2.5-78B [15] | 93.6 | 70.4 | 47.5 |
| +VisualPRM | 94.5 | 77.8 | 51.0 |
| +0.9 | +7.4 | +3.5 | |
原表来源；正文已标明保留的数值疑点
GSM8K、MATH-500、GPQA-Diamond 仅输入文字，指标为准确率，默认 Best-of-8。Qwen2.5-7B 在 MATH-500 +6.1、GPQA +5.0；72B 为 +2.1/+6.6；InternVL 8B/38B/78B 在 MATH-500 +9.4/+4.6/+7.4。这说明该评分接口不要求每题一定有图像，但没有证明它全面胜过专门训练的 text-only PRM。
原 Table 5 的 InternVL2.5-8B GSM8K 为 81.9→82.9，算术差为 +1.0，而原表增益行写 +1.1。本页完整保留原行并指出差异，不静默修表。Qwen2.5-32B GSM8K 95.9→96.1 仅 +0.2，已接近高基线天花板；不要据少量基准泛化成所有语言任务。
14 · 补充材料里的分布、例子与反思
补充 Fig.5 显示多数解答少于 15 步，约 7 或 13 步较常见；前 3 步错误率低，随后上升。作者解释长题更难，但长度与难度混杂，图不能证明“推得越久就导致出错”。15 步后错误率骤降源于样本少，不能解读为长思考突然更可靠。这也解释 max 聚合为何容易被开头的一句泛泛正确话骗过。
Fig.6：自动 MC 标签的六种来源
六种来源的自动监督样本（全部面板）
OCR 收据例子区分 total 与 cash paid，最后把现金付款当总额为零；document 日期例子展示即便中间有非零 MC，最终日期仍可错；math 合成场景计球说明视觉识别可能破坏后续计算；science 脚型、general VQA 对称性、chart 党派比率覆盖不同知识与视觉要求。它们是带错误的训练解答，不能作为事实答案引用。chart 中最后比值是零标签，不意味着论文证明了一个数学分数本身为错，而要结合问题语义、图表及答案标准。
Fig.7：人工过程标签保留局部正确性
十五组人工逐步标注样本（全部面板）
全部 15 个面板覆盖艺术概念、乐谱、经济图、数字组合、抛物线、鱼线、坐标不等式、圆几何、函数根、量角器、房屋图表、雷达图、圆锥周长、对称四边形与书堆。数字组合中“54+32=86”的算术步骤可正确，但选数策略和最终最优答案错误；对称四边形中间推导有错，最后选项却正确。二者分别说明只看最后答案会漏掉过程错误、只找首错又会丢掉后续局部正确性。
标注也存在可审查边界：一些通用公式在上下文误读下被标负；解答图中保留转义文本、额外标题和中性步骤。这些都是实际数据规范的一部分。复现者应做误差类型分层与多人复标，不应假定每个标签具备无争议的数学真值。本文没有给完整细粒度 taxonomy 或一致性统计。
Fig.8 从错误的 155° 转向反思再得到 120°，用于展示为什么要评全部步骤。它是已有模型候选中的示例，不是 PRM 主动调用工具纠错的轨迹；PRM 在本文 BoN 中只评分与选择，不改写答案，不追加观察，不形成 agent loop。
15 · Paper vs. Implementation：能复现到哪一步
核查原版 HF 模型 的配置、model card、modeling_internvl_chat.py 与 conversation.py，以及 训练数据卡、benchmark 数据卡。只读取小文件，不下载权重、不安装依赖、不执行作者代码。资源带后续编辑，所有“Implementation Verified”均指本次读取快照，不自动追溯为论文实验的精确提交。
- 概率归一化只在候选标签 token 上。代码先取 +/− 两个 logits，再 softmax，得到 \(p_i(+)=e^{\ell_+}/(e^{\ell_+}+e^{\ell_-})\)，而非完整词表 softmax 后直接取 + 概率。两者的数值校准不同，复现必须匹配。
- 分步为字符串规则。默认双换行切分；当 max_steps=12 时，以 ceil(原段落数/12) 为组宽合并。因此未必正好 12 步，段落格式会影响分数；空段落没有显式过滤。没有学习型推理步骤解析器。
- 历史标签用 + 占位。一次 causal forward 中先前占位回复也在后续上下文里，和真实训练标签历史可能不同。代码确实如此，不应把它简化成对每一步完全独立评分。
- top-level 平均，底层 helper 默认求和。generate_overall_score 默认 sum，但 select_best_response 显式传入 mean。因此看见一个默认参数就说官方默认按总和排序是错误的。
- benchmark 阈值与训练阈值分离。check_correctness 默认 soft score 0.8；不能替换为 MC 标注阈值 0，也不能未经检查就认定该默认值复现了论文所有 F1。
- 文本路径有占位图张量。pixel_values=None 时构造零图张量并用 image_flags 标记无图，不等于把黑色图片当输入信息；实现接口与概念输入要区分。
- tokenizer / 模板要求。+、− 必须是有效 token；通过角色+占位符+分隔符精确匹配定位 logits。替换 tokenizer、模板或分隔符可能使步骤数量断言失败。
训练数据卡明确原版发布为已转成 +/− 的对话格式；想读取原始 MC 值时指向后续 VisualPRM400K-v1.1-Raw，该版本加入额外来源，不能视为原论文训练集的无损等价快照。本次不下载完整数据，所以未确认全部样本数、去重、原图权利或 train/test 无交叉。官方 benchmark test.jsonl 的文档定义保留 steps 与 process_correctness；接入时应按实际 schema 读取，而不是相信自动 viewer 的列推断。
模型卡链接 VLMEvalKit 评测变更，作为追溯入口；本次未执行或完整审计该 PR 的所有调用链，不能把“链接存在”写成“已成功复现实验”。完整 system prompt 与训练命令应以对应发布文件为准，论文没有给出每种 policy 的完整采样 prompt。本页不自行编造原始 prompt。
16 · Reviewer：贡献、风险与复现实验优先级
真正扎实的贡献
- 过程监督从文本拓展到图像条件，并提供训练集、评分模型及逐步 benchmark 三个可分离成果，便于拆开测错步识别和终答筛选。
- 8B critic 对多个家族和更大 policy 有稳定 overall 增益；包括 BoN 曲线、ORM/SC、聚合策略、训练阈值、温度和文本任务的较系统消融。
- 保留错步之后的监督与全部错步标注，承认反思、恢复和局部正确性，使评价比“首错后全部负”更细致。
不能被主结果掩盖的弱点
- MC 续写可达性不是局部事实正确性；标签依赖 rollout policy 的图像读取能力、答案判分器、采样预算与修复能力。
- 训练负例约 10%，评测负例比例更高；整体 macro F1 并不回答视觉错误、算术错误、语义错误、模板错误各自的表现。
- 缺 oracle pass@N、重复实验方差、等计算比较与墙钟数据；无法完整分解采样上限、排序质量与代价。
- 人工标注未给多标注者一致性与完整仲裁规范；作者抽检可控质量，但仍不等于无噪声 ground truth。
- 平均 reward 有长度和格式可操纵性，未做对抗性插入“正确废话”、错误但高置信答案、reward hacking 或跨分布极长解答实验。
- 公开版本与原论文时间不完全对齐；表间 41.1/41.2、训练 threshold 0.625、生成器列表等需要明确记录，避免用隐式修正制造虚假可复现性。
最小复现建议：固定原版模型 revision、原始 PDF 哈希、候选题目与生成结果；先只比较同一份候选的 mean/min/max 与 SC/ORM；再检查 +/− logits、切步和阈值；报告逐类 F1、oracle pass@N、selected accuracy、候选 token 数与评分时间；最后扩大 N。这样能区分评分实现错误与 policy 采样差异。
17 · 可执行的研究延伸
Research Extension：以下未被本文验证。
方向一：把“这一步正确”与“还能补救”拆成两个头
人工标注局部逻辑/视觉事实，MC 估计未来成功率，分别学习 correctness 与 recoverability，再用校准融合排序。用同一前缀的不同 rollout policy、8/16/32 次采样测试依赖性，并报告两种标签不一致的比例；只增加参数而不分离监督不能解决概念混淆。
方向二：视觉证据定位与可执行验证
为错步关联图像区域、OCR 数值和几何关系，让 critic 先验证引用的证据再评价推导；引入计算器或几何验证器时记录工具输入输出，另报告工具覆盖范围与调用预算。对程序材质生成，可将“步骤”定义为加节点、连边、设参数、编译、渲染，并用类型检查与渲染结果提供真实执行标签，不能仅靠语言陈述说材质正确。
方向三：抗长度操纵的聚合
构造同解答的冗余正确步插入、双换行扰动、细分/合并、错误末步替换；比较均值、分位数、语义去重均值、致命错误门控及学习聚合。保持候选内容与计算预算，检查是否因格式变化产生错误排名。只有在这些反例上稳定，才适合把 PRM 接入长链搜索或 agent。
方向四：以固定预算决定何时停止采样
使用独立验证集拟合剩余采样收益，动态选择 N 或将预算投入高不确定步骤；同时计 policy token、critic token、图像编码和工具调用成本，比较相同总预算的 SC 与 PRM。停止策略不得使用测试真值，分数置信度也需校准，否则会过早停止在自信的错误上。
18 · 阅读覆盖、来源与交付边界
已读 21 页合订本，重建 8 表，保留 8 图及 Fig.6/7 的全部多页面板。正文公式为显式 MathJax 3，图源优先引用 arXiv 官方文件；联网资源存在性与内容静态核对不等于浏览器成功渲染。浏览器、MathJax runtime、视觉布局验收按本批要求延后；没有运行模型或报告复现成功。
- 固定 arXiv v1 PDF · 官方 HTML · 身份与版本记录
- 官方项目说明 · VisualPRM-8B 原版发布
- 原版评分实现 · 配置 · 对话模板
- VisualPRM400K · VisualProcessBench
完整原笔记保留为字节前缀，新增精读与归档候选分离；共享 People/索引/用户仓库未写入。图片与论文内容版权归原作者及相应权利人。作者代码仅作只读审计，不作为最终用户交付附件。