Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

这篇论文究竟填补了什么空白

此前的两条路线各有代价：带 rationale 的训练需要大规模高质量推理标注；普通 few-shot prompting 只展示输入与答案，在多步推理任务上常常随规模增长仍保持平坦。本文把两者结合为一种纯推理期方法。

方法：把推理轨迹放进 few-shot 输出

问题形式与符号

设测试问题为 \(x^{\ast}\)，few-shot 示例集为 \(\mathcal D=\{(x_i,r_i,y_i)\}_{i=1}^{K}\)。其中 \(x_i\) 是问题，\(r_i\) 是人工写出的中间推理文本，\(y_i\) 是最终答案，主要设置中的 \(K=8\)。模型参数 \(\theta\) 在实验中保持冻结。

这条式子是对论文推理流程的形式化整理：实际生成序列 \(z\) 先包含 reasoning tokens \(r^{\ast}\)，再包含答案 \(y^{\ast}\)。论文没有提出新的训练目标、loss 或模型结构；改变只发生在条件上下文 \(\mathcal D\) 与期望输出格式。

八个算术示例与输出约定

下面按 Appendix G 的八个主算术 exemplars 逐项给出中文释义与计算路径，供理解提示结构。论文实验使用英文原文；复现应从 Appendix G 取得原始上下文及对应 standard / CoT 版本。每个 CoT 示例先写问题，再写文字推理，最后以固定短语 The answer is 接答案；测试问题接在八个示例之后。

1. 种树：原有 15 棵，种植后共 21 棵，新增数量为 \(21-15=6\)。
2. 停车：原有 3 辆汽车，再来 2 辆，共 \(3+2=5\)。
3. 巧克力：两人分别有 32、42 块，吃掉 35 块，剩余 \(32+42-35=39\)。
4. 棒棒糖：原有 20 根，送出后剩余 12 根，送出数量为 \(20-12=8\)。
5. 玩具：原有 5 件，父母各送 2 件，共 \(5+2+2=9\)。
6. 服务器：原有 9 台电脑，星期一至星期四每天增加 5 台，共 \(9+4\times5=29\)。
7. 高尔夫球：原有 58 个，先遗失 23 个，再遗失 2 个，剩余 \(58-23-2=33\)。
8. 购物：原有 23 美元，购买 5 个单价 3 美元的贝果，剩余 \(23-5\times3=8\) 美元。

standard prompting 保留相同示例问题和最终答案，移除中间推理段。Equation-only 保留计算表达式；variable-compute-only 用点号控制额外输出长度；reasoning-after-answer 把最终答案提前。AQuA 的四个多选示例、各常识任务及符号任务的完整英文提示分别列在 Appendix G 后续表格，任务专用提示不能直接替换为这组算术示例。

论文没有 system prompt、tool description、retry instruction、beam search 或 reranker。推理采用 greedy decoding。LaMDA 的报告值对五种 exemplar 随机排列取平均，其余模型因计算费用只使用一个排列。

实验设置与复现边界

模型

任务与数据

提示采样与评估

• 算术：除 AQuA 外，所有基准共享同一组八个手写 exemplars；AQuA 使用四个训练集多选示例。
• CSQA、StrategyQA：随机选训练样本并人工写 CoT；Date 与 Sports 没有训练集，取评估集前十条作示例，并在剩余条目评估。
• SayCan：使用原训练集的六个示例并人工补充 reasoning；附录完整 prompt 实际列出七段示例，属于论文正文描述与 Appendix G 的可见差异。
• 符号任务：人工写示例；OOD 只增加序列长度，逻辑规则保持相同。
• 指标统一为 final-answer exact accuracy / solve rate。自由回答通过答案字符串解析，多选与二分类比较选项。

计算资源

LaMDA 137B 推理使用 TPU v3 的 8×8 配置，即 64 chips / 128 cores；PaLM 540B 使用 TPU v4 的 4×4×12 配置，即 192 chips / 384 cores；GPT-3 通过公开 API。论文没有估算总计算量、延迟、token 成本或能耗。

完整定量结果

主文的曲线图强调趋势，Appendix B 才给出所有模型规模与数据集数值。下面重建关键原表的全部方法行与指标列。

模型规模与“涌现”证据

在 PaLM 上，GSM8K 从 standard 的 17.9 升至 CoT 的 56.9，绝对增加 39.0；加入外部 calculator 后为 58.6。LaMDA 420M–8B 上 CoT 普遍下降，68B 开始出现部分收益，137B 的 GSM8K 从 6.5 升至 14.3。这个非单调变化支撑“规模门槛”的描述，但规模同时混入预训练数据、训练计算、模型架构和指令调优差异，不能单独建立参数量的因果作用。

问题复杂度控制

PaLM 540B 在 SingleOp 已有 94.1，CoT 保持 94.1；在 MultiArith 则从 42.2 跃升到 94.7。GPT 175B 与 Codex 在 SingleOp、AddSub 甚至略降，同时在 MultiArith 分别增加 57.9 与 52.2 个百分点。这个分层结果比总体 MAWPS 更直接地支持“多步问题获益更大”。

常识任务

PaLM 540B 的 CoT 在 StrategyQA 从 68.6 升至 77.8，在 Sports 从 80.5 升至 95.4，在 SayCan 从 80.8 升至 91.7；CSQA 只有 1.8 点收益。GPT 175B 的 CSQA 和 StrategyQA 还分别下降 6.0 与 0.5 点，因此“跨任务普遍有效”需要限定到模型与任务组合。

符号任务与长度外推

PaLM 540B 在四词 last-letter OOD 上从 0.0 升至 63.0，在四步 coin flip OOD 上从 54.8 升至 90.2。标准提示在 last-letter OOD 几乎完全失败。这里的外推只覆盖同一合成规则下从两步到三、四步，不能直接推广到更长链条或开放域组合推理。

消融与鲁棒性：每个实验真正说明什么

Equation only

只要求模型先写等式，在 GSM8K 上为 5.4，低于 standard 的 6.5 和 CoT 的 14.3；在 SVAMP、ASDiv、MAWPS 上处于 standard 与 CoT 之间。这说明自然语言语义分解对复杂 GSM8K 特别重要，同时也说明短算术任务的一部分收益可由显式等式承担。

Variable compute only

用与等式字符数相同的点号扩展输出长度。GSM8K 为 6.4，接近 standard 6.5；Date、Coin 等也接近基线。实验排除了“只要多生成 token 就会提高准确率”这一简单解释，但它没有等价控制自然语言 token 的条件分布、结构或语义信息。

Reasoning after answer

先给答案，再生成 reasoning。GSM8K 为 6.1，接近 standard；Concat 甚至为 0.0。它表明推理文本必须位于最终答案之前才能在自回归生成中影响答案 token，也反驳了单纯激活知识的解释。

不同 annotator、示例和排列

三位共同作者写出的 CoT、精简版本以及三组 GSM8K crowd-worker exemplars，大多仍显著超过 standard。与此同时，Coin 的不同 annotator 可从 99.6 降到 71.4，且 Annotator C 的排列标准差达到 11.1；作者还报告两个共同作者写不出有效的五项 reverse-list prompt，第三位作者才成功。鲁棒性成立于所测条件内，提示工程仍然关键。

错误分析与“可解释窗口”的边界

LaMDA 137B 的 GSM8K 人工审阅

作者随机检查 50 个最终答案正确的样本：43 个被认为与人工 ground truth 等价，另有 7 个显著瑕疵，其中 1 个偶然得到正确答案，其他包括陈述不充分、无关陈述、等式漏写和语义倒置。这里对“正确链条”的判断来自作者人工分析，没有盲评或 inter-annotator agreement。

另检查 50 个最终答案错误的样本：8% 只含 calculator error，16% 只需修正 symbol mapping，22% 只漏一个步骤，剩余 54% 需要实质性修改；其中 8 个还含不连贯推理。34% 的错误样本包含算术错误与其他错误的组合。

这一复算与附录叙述的 23 个“轻微可修复”和 27 个“重大错误”一致。值得注意的是，Appendix D.2 写 LaMDA 137B 的 external calculator 将 GSM8K 从 14.3 提到 17.3，而 Table 1 给出 17.8；网页保留这项论文内部数值差异。

外部 calculator 到底做了什么

作者使用 Python eval 对生成链条里的算术表达式进行后处理，并通过字符串匹配把前一等式结果传给后续等式。它只校正算术执行，不能修正语义解析、变量对应、漏步骤或幻觉。其效果在 UL2 上很大，例如 MAWPS 从 19.1 到 42.7，说明 Table 1 的“CoT + calculator”同时包含语言推理与外部执行两个组件。

Reviewer Commentary

Strengths

• 干预极简且问题清楚。 不修改权重，仅改变 few-shot 输出格式，使大规模对照容易理解。
• 证据覆盖面广。 五个算术、五个常识、两个符号任务，跨 LaMDA、GPT、PaLM、UL2 与 Codex，附录提供规模曲线和完整 prompts。
• 消融针对核心替代解释。 额外 token、仅写等式、答案后解释、不同 annotator 和不同示例都被单独测试。
• 诚实记录失败。 AQuA、CSQA、StrategyQA 的若干模型组合下降；小模型 CoT 经常有害；Appendix D 具体展示了错误链条。

Weaknesses

• 模型访问限制。 最强结果依赖 PaLM 540B 与 LaMDA 137B，外部研究者无法复现；GPT API 型号也已废弃或变化。
• “emergence”存在混杂。 参数量与数据、训练计算、架构和 post-training 同时变化；少数离散规模点不足以确定真正阈值。
• 准确答案之外缺少严格过程指标。 只对 GSM8K 的两个 50 样本集合做人审，未评估各任务的 step correctness、faithfulness 或事实来源。
• 提示选择存在研究者自由度。 大多数 prompt 由共同作者编写，部分 BIG-bench 示例来自评估集；reverse-list 失败显示提示工程可决定结论。
• 成本报告不完整。 提供硬件拓扑，没有总查询数、tokens、延迟、费用和能耗。
• 外部 calculator 的协议较脆弱。 Python eval 与字符串传播的解析细节没有完整算法或代码，且 17.3 / 17.8 存在内部不一致。

Potential Improvements

• 固定 token budget，加入错误 rationale、无关但语法匹配 rationale、打乱步骤与答案泄露等因果控制。
• 对 reasoning steps 进行多标注者逐步正确性、事实性和蕴含关系评价，并报告一致率。
• 在可公开权重的多组同族模型上密集采样规模，分离参数量、训练 FLOPs、数据量和 instruction tuning。
• 把 calculator、retrieval、verifier 和 self-consistency 设计为预注册模块，分别报告准确率、计算成本与错误类型迁移。

证据等级

References 与版本核验

1. arXiv:2201.11903v6：43 页合订本，包含主文、checklist 与 Appendix A–H；提交版本日期 2023-01-10。
2. NeurIPS 2022 Proceedings：正式作者、会议卷、页码 24824–24837、DOI 与主文／补充材料链接。
3. NeurIPS Paper PDF：14 页正式主文。
4. NeurIPS Supplemental PDF：29 页，内容对应 Appendix A–H。
5. Google Research 官方介绍：提供方法说明、GSM8K 与 commonsense 结果背景。

作者身份：PDF 首页列 Jason Wei、Xuezhi Wang、Dale Schuurmans、Maarten Bosma、Brian Ichter、Fei Xia、Ed H. Chi、Quoc V. Le、Denny Zhou；机构为 Google Research, Brain Team。首页只给 {jasonwei,dennyzhou}@google.com，没有星号或“corresponding author”标签，因此 Denny Zhou 继续作为末位通讯候选并标记 unverified。