自测、自判，真的会让 LLM 变好吗？

一句话结论

S³Gym 的关键贡献不是提出一个更强的 agent，而是把“经验是否变成能力”做成了一个有外部 verifier、分离探索/评估、可以诊断失败来源的 benchmark。

论文身份与资料状态

动机：固定策略分数看不出“学会了”

传统 agent benchmark 通常给定任务、奖励、执行脚手架和评估集，然后把模型当作固定 policy 测一次。它回答的是“模型现在有多强”，却不回答“模型是否能利用自己刚才做过的事”。现实中的 agent 则不断经历观察、推理、行动和反馈，留下大量 trajectory；如果这些轨迹不能改变后续决策，经验只是日志，不是学习。

研究缺口

已有 interactive benchmark 有丰富的多轮轨迹，但多半只把轨迹用于打分或失败分析；Reflexion、Voyager、STaR、ReST 等工作展示了经验/自生成监督可以促进改进，却往往绑定单一的改善机制，使得“经验没信息”“自判错了”“更新机制不会迁移”三种失败来源难以区分。S³Gym 试图在相同的环境、种子、预算和严格评估下比较三条经验整合路径，并把模型自判与环境 verifier 的信号同时记录下来。

Figure 1 · 论文概念图。左侧用人类的测试—判断—学习作类比，右侧对应 LLM agent 的探索、轨迹/分数记录，以及 ICL、Memory、Training 三种改进路径。原图：arXiv figure asset。

相关工作：S³Gym 究竟补了哪一层？

作者把既有工作分为三组：interactive benchmarks 提供环境；experience-based improvement 提供 memory 或训练路径；adaptive/self-improving benchmarks 开始评估系统变化，但尚未把 self-testing、显式 self-judging 和 executable verifier 串在一个受控协议中。

Table 1 · 按论文 Table 1 重排。这里的“补足”是协议层面的贡献，不等于 S³Gym 在所有能力维度都比既有 benchmark 更全面。来源：arXiv §3。

问题定义与数学骨架

每个游戏由许多独立 episode 组成。一个 episode 是一段交互 trajectory；模型同时输出动作与对“该动作即时奖励”的自判分数，环境则悄悄保存 verifier 的真实 step reward。关键是 \(s_{x,i}\) 不等同于 confidence，\(r_{x,i}\) 在主探索设置中不返回给 agent。

一个 self-improvement cycle

这里 \(t\) 是 cycle index，\(p\in\{\mathrm{History},\mathrm{Memory},\mathrm{Training}\}\) 是经验进入未来行为的路径。公式是一个 schedule：它并不假设三个 \(p\) 会同样有效，只保证每条路径共享探索与严格评估的外部条件。

交互一步发生什么

episode 从配置与 seed 重置，初始 history 为空。下一步模型接收当前观察、episode 内历史，以及此前 cycle 的路径特定经验：

环境执行提议动作并返回下一观察、可见反馈、隐藏于 agent 的 verifier reward 和终止位：

进入下一步时，agent 能看到的是带有自己分数的格式化 transition：

其中 \(\oplus\) 表示有序拼接；\(r_{x,i}\) 留在 benchmark 侧，因此评估可以在不泄露答案的情况下比较 \(s\) 与 \(r\)。episode 结束或达到步数上限后：

\(r_{x,i}\) 用来审计 Self-Judging，\(y_x\) 用来衡量严格条件下的完整行为。二者都不作为主探索阶段直接返回给模型。

完整方法：同样的经验，三种持久化方式

探索配置相对宽松，评估配置更严格；每隔若干探索 episode 做一次更新与 held-out eval。方法图中最容易忽略的一点是：Evaluation trajectory 永远不回流到 history、memory 或 training data，且探索与评估使用 disjoint seeds。

Figure 2 · S³Gym 方法总览。原始图将 7 个游戏、探索交互、隐藏环境分数、三种经验整合和周期性 held-out evaluation 放在一张图里。图中 \(y_x\) 在探索期间标为 hidden；来源：arXiv figure asset。

路径 A · History ICL

把带 score 的探索轨迹直接序列化并追加到未来 context。优点是证据细节完整，缺点是 context budget 会成为瓶颈，也让模型自己从长轨迹中定位因果信息。

路径 B · Summary Memory

将 trajectory 压缩成“保留哪些策略、避免哪些错误、下一轮怎么做”。它更节省上下文，却引入强信息瓶颈：摘要必须足够具体，才能从描述性的经验变成新状态上的 action rule。

路径 C · Parameter Training

高分动作可作为正例；低分动作被过滤或替换成 corrected action，组成 supervised fine-tuning 数据。它具有最强的持久性，也最可能把错误判断、探索偏差或宽松配置过拟合进参数。论文将这一项作为 auxiliary pathway 进行独立的 Qwen3-8B 分析，而不是与七模型 context 表直接混排。

七个游戏：让“迁移”具体化

每个游戏保留任务身份，但改变 state space、失败代价、机会数量或 opponent sampling，使 evaluation 不只是重复探索。Max steps 取 game-specific horizon 与 controller cap 中更严格者。

Table 2 · 论文环境设置的可读版。探索不一定总是“更小”，核心是不改变任务问题而降低失败成本或缩小搜索难度。来源：arXiv §5.1。

Agent 看到什么、必须输出什么

这是附录给出的 shared response contract。六个游戏共享基础交互协议，Trust Evolution 使用自己的 game-specific system instruction；memory 条件改变的是 cross-episode experience 的呈现，不改变游戏规则、动态状态、合法动作空间和 self-judging contract。

实验设置与可复现边界

Context-level 主实验

如何读三项曲线指标

令 \(y_{m,p,g,k}\) 表示 model \(m\)、pathway \(p\)、game \(g\) 在 checkpoint \(x_k\) 的严格评估分数。论文同时报告：

Avg 反映整个过程的平均能力，Max 捕捉偶然的 capability breakthrough，AUC+ 衡量高于初始 baseline 的持续面积；曲线在 checkpoint 间用 piecewise-linear interpolation。不同游戏分数尺度差异很大，所以 raw AUC+ 只能在同一游戏内部比较。

参数训练的独立分析

RQ1 使用 Qwen3-8B 的 20 个 consecutive checkpoints：epoch 0 是原始模型，epoch 1–19 是由 exploration trajectories 更新后的模型；评估时不带 History ICL 或 Summary Memory。论文公开了训练曲线与行为结果，但没有在正文/附录给出 optimizer、learning rate、batch size、epoch 内数据量、LoRA/全量更新选择、训练硬件或完整 filtering script，故这些项目在本页标记为“未报告”。

主结果：没有 universal memory winner

下表完整保留论文 Table 4 的 Avg、Max 与 AUC+ 数值。粗体在原论文表示对应 pathway/game 内最优；这里通过 绿色 标示同一块内的原始 best。

Avg · 全部模型与游戏

Max · 偶然峰值与稳定能力不是一回事

AUC+ · 持续高于 baseline 的面积

Table 4 · 主结果。明确标记的 concurrency failures 被排除；AUC+ 按 checkpoint 间梯形积分。完整原表：arXiv §5.3。

绿色条表示 Summary Memory 方向的相对改善示例，蓝色条表示摘要后明显下降；条形只用于阅读提示，不把不同游戏的绝对尺度混在一起。

RQ1：参数训练能否把经验内化？

Qwen3-8B 的训练实验把 memory 从 inference context 中拿走，只保留由 exploration trajectories 和 self-judgments 构成的参数更新。它回答的是更强的持久性问题：如果未来没有历史轨迹，模型是否还能表现得更好？

RQ2：模型的 Self-Judging 可靠吗？

每个 transition 同时保留模型的 \(s_i\) 与环境的 \(r_i\)。论文统计七个模型、七个游戏、两种 context pathway，共 98 runs、116,117 transitions。它使用四类信号：正/非正事件 Agreement、归一化数值误差 NMAE、over-confidence 和 under-confidence。

Agreement 只问“模型与 verifier 是否都认为这一步有正收益”，不问收益有多大。由于不同游戏 reward scale 不同，论文再用 game-level min–max normalization 计算：

此外，over-confidence 是 \(\Pr(s_i\gt 0,r_i\leq 0)\)，under-confidence 是 \(\Pr(s_i\leq 0,r_i\gt 0)\)。高 Agreement 可能只是因为绝大多数 transition 的真实 reward 都是 0，因此必须和 NMAE 一起读。

Table 5 · Self-Judging step-level reliability。来源：arXiv §6.2。

Judgment–improvement coupling

为检验“自判越准，下一轮越会提升”是否成立，论文把相邻评估 checkpoint 间的探索 episode 分成 block \(B_t\)，计算 block 的 agreement \(A_t\)、calibration error \(E_t\)，以及随后严格评估的归一化增益：

再比较 \(\rho(A_t,g_t)\)、\(\rho(-E_t,g_t)\) 和高/低判断质量 tertile 的 gain gap。

Table 6 · judgment–improvement coupling。所有总体耦合都接近 0；Minesweeper 的 \(A\) 关系略正，但 calibration 关系几乎没有。论文还报告 run-level Agreement 与 NABA 的 Pearson \(r=-0.23\)、Spearman \(\rho=-0.11\)。

当初始分数 \(y_0=0\) 时，\(\varepsilon\) 取该游戏第一个非零分数尺度。NABA 解决不同 baseline 的相对尺度问题，但仍然是相关性诊断，不提供 self-judging 对下一轮增益的因果证明。

RQ3：摘要记忆能否形成可执行的迭代方向？

Summary Memory 不只是把历史缩短，而是要求模型回答三个问题：哪些低分行为应被抑制，哪些高分行为应被保留，以及如何把它们压缩成下一次能执行的策略。论文用归一化高于 baseline 的面积差来比较摘要与 raw History ICL。

正值表示摘要组织经验后，持续改善轨迹更好；每一对都使用同一个模型与同一个游戏，只改变跨 episode 历史的组织方式。这个比较不能单独证明摘要的因果优势，但能把“摘要到底保留了什么”暴露出来。

Table 7 · Summary Memory versus direct-history ICL。来源：arXiv §6.3。这里的 wins 由每个 model–game pair 的 NABA 比较得到，Mean \(\Delta\)NABA 是该游戏七个 pair 的平均。

四个成功摘要：经验变成规则

四个失败摘要：方向合理仍不够

证据分层：论文证明了什么？

三篇工作的系统位置

MathJax 公式安全抽查

页面统一采用 MathJax 3；比较符号使用 \lt、\gt，星号使用 \ast，避免浏览器先解析 HTML。以下是项目验收要求中的代表性 smoke examples：

Reviewer commentary

需要谨慎的地方

Paper vs. Implementation

审稿结论：S³Gym 是一个有用的 measurement protocol 和 failure taxonomy，尤其适合检验 agent 是否把交互日志转成可迁移的行为规则。它的贡献强在问题拆解与评估边界，弱在公开实现、统计功效与开放世界外推。把它读成“self-improvement 已被解决”会过度解读；把它读成“self-improvement 可被逐环节审计”则是论文最稳固的价值。

References & provenance

1. Shi et al., “S³Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement?”, arXiv:2608.31100v1, 2026-08-31。记录与作者
2. 论文 HTML 版，含正文公式、Table 1–7、Figure captions 与 Appendix A。arXiv HTML
3. 论文原始 PDF，用于核对图、表和版式语境。arXiv PDF
4. 论文 TeX source，包含 sections/approach.tex、experiments.tex、analysis.tex、appendix.tex 与图像资源。arXiv source
5. Self-Developing Agents 官方项目页：TARGET / EXPERIENCE / SYSTEM 三层总览。official project page
6. 本文使用的原始概念图 Figure 1。intro.png
7. 本文使用的方法概览 Figure 2。overview.png