Aspire｜从模糊目标到可保留能力的自进化

Paper Verified整体判断

先给结论

Aspire 的真正贡献不是发明一种新的 SFT、RL 或 agent 架构，而是把“目标操作化（target operationalization）”单独变成被测能力：模型是否能从模糊目标构造学习信号，并把局部代理上的进步保留成隐藏评测上的真实能力提升？

520

专家新写的隐藏评测 items，覆盖 6 个能力目标

1 / 30

adaptive-feedback 单元中最终清过 retention threshold 的 cell

27.22

最强 successor harness 的 task-macro，仍低于 Qwen-Agent 的 28.64

论文用一句话回答标题问题：现有 agent 能经常完成“选数据—训练—出 checkpoint”或“编辑—冻结 harness”的执行闭环，但从模糊目标出发获得并保留目标对齐能力，仍然稀疏、不稳定，且容易被错误代理、答案格式坍缩和后续搜索回退破坏。

它测量的对象

不是“这次训练有没有跑完”，也不是“某个中间 checkpoint 的局部分数有没有变高”，而是经过合法性、完成度和基线门槛后，系统是否能够保留一个相对 incoming/base model 真正更好的状态。

它没有声称的事情

没有证明模型已经实现 recursive self-improvement，也没有证明一次 Terra 数学 gain 可独立复现，更没有证明所有无关能力得到保持。作者主动把这些边界写进结论。

论文事实

论文身份：一篇 benchmark / systems report

根据 arXiv v1、全文首页与官方项目页核对的身份信息。
准确标题	Aspire: Can Models Self-Evolve from Vague Goals?
作者	Yuhao Wu, Jingyuan Zhang, Jiajun Shi, Yuxuan Zhang, Xinping Lei, Junting Zhou, Zexuan Wang, Yuchen Wu, Huan Zhou, Duo Wang, Yinzhu Piao, Yongchang Peng, Yunfeng Shi, Jin Chen, Zuo Wang, Jinkai Liu, Jiaheng Liu, Wenxuan Zhang, Shen Yan, Wenhao Huang, Ge Zhang。
版本与时间	arXiv:2608.31111v1，提交于 2026-08-31 17:14:59 UTC；arXiv HTML 排版日期显示为 2026-09-01。
主题分类	cs.CL（Computation and Language）。论文正文没有声明会议或期刊接收信息，当前应称为 technical report / preprint。
机构线索	作者脚注列出 ByteDance Seed、Singapore University of Technology and Design、M-A-P、TokenWave.AI 等 affiliation。
许可证	arXiv HTML 标注 CC BY-NC-ND 4.0；这是论文页面与文字的许可信息，不等同于一个可运行的公开 benchmark repository。

一手来源：arXiv abs · arXiv HTML · 官方项目页。

Paper Verified研究解读

问题不是“如何优化”，而是“优化什么”

从半闭环到缺失的前一步

许多 LLM self-evolution 系统已经可以在一个人类预先写好的闭环里工作：给定任务格式、训练数据或数据源、可执行 evaluator、reward 和预算，agent 搜索数据筛选、超参数、prompt 或更新算法。这样的问题当然有价值，但它默认人类已经把宽泛愿望翻译成了可优化目标。

真实学习常常从“成为更好的物理学家”“提升研究能力”“提高数学推理”开始。学生必须先发现能力缺口，选择练习材料，决定用什么方式训练，并且发明一种足够可信的检验方法。Aspire 将这三个耦合决策写成 benchmark 的中心：

Broad goal自然语言能力方向

Diagnose识别 capability gaps

Operationalize数据、更新目标、验证信号

Search训练或编辑候选状态

Verify隐藏 evaluator 的外部测量

Retain只保留通过门槛的结果

“Vague”在本文中的含义：不是目标含糊到无法理解，也不是随意的自然语言 prompt；它指一个宽泛 capability direction 尚未被 operationalize 成固定 task、dataset、metric、success criterion。这个区分非常关键：作者把难点放在“目标尚未落地”，而不是语言歧义本身。

三个 research questions

RQ1 · goal specification

如果把 PostTrainBench 的明确 benchmark 名称换成 broad capability goal，agent 的搜索轨迹和最终分数发生什么变化？

RQ2 · weight evolution

从 instruction-tuned checkpoint 出发，agent 能否自行选数据、更新方法和验证策略，最后保留高于 base 的目标能力？

RQ3 · harness evolution

固定模型权重，agent 能否编辑 runtime prompt、tool policy、workflow、memory 和 validation procedure，构造更强的 harness？

与同系列两篇 benchmark 的关系

官方项目页将三篇工作拆成一条闭环：Aspire 研究“应该提升什么”，S3Gym 研究“经验能否转成下一次更好的决策”，HarnessDev 研究“承载决策的 harness 能否被创建并持续演化”。因此 Aspire 是 target-formation 层，不应被误读成 S3Gym 的 self-judging 实验或 HarnessDev 的代码生成实验。

三篇工作的最小对照（来源为同一官方项目页；其余两篇的细节请阅读各自页面）。
层次	论文	核心缺口	外部检验
Target	Aspire	从 broad goal 选择要学的能力和代理目标	隐藏、专家撰写、query-limited evaluator
Experience	S3Gym	self-testing / self-judging 是否变成下一步 self-improvement	held-out text-game 与 executable verifier
System	HarnessDev	生成和演化 runnable agent harness，并保持迁移	held-out tasks、fixed executor 与效率

数学表示不是梯度训练公式

形式化：一个受控的“搜索—验证—保留”系统

Aspire 的数学部分主要是 benchmark contract 和 outcome accounting，而不是提出一个新的 differentiable objective。论文把实验设计成 controller 维护的状态机，允许 agent 决策，但把 evaluator、预算、身份和保留规则固定下来。

1. Campaign contract 与状态

\[ \Gamma=\left(G,\mathcal{E}_{G},J,\mathcal{A},B,\Sigma\right), \qquad Y_{r}^{\mathrm{in}}=\left(M_{r},H_{r},D_{r}\right) \]

这一公式描述一轮 campaign 的固定实验契约与输入状态。它回答“目标、评估器、动作、预算和终止规则分别由谁控制”。

符号表：不要把 \(D_r\) 误认为被训练的目标模型。
符号	含义	在系统中的作用
\(G\)	vague goal，自然语言能力方向	agent 可见；不包含下游 item、答案或细粒度 metric
\(\mathcal{E}_{G}\)	与目标绑定的 versioned evaluator	controller 侧持有，决定最终外部测量
\(J\)	模型型 judge（若开放式答案需要）	评分器配置在 campaign 创建时绑定
\(\mathcal{A}\)	typed action contract	限制 registration、training、validation、evaluation、branch、stop 等语义动作
\(B\)	campaign budget	包含 GPU-hours、wall-time、query allowance 等资源边界
\(\Sigma\)	预先声明的终止选择规则	规定 eligibility、tie-breaking、terminal selection 与 rollback
\(M_r\)	第 \(r\) 轮可演化的 model weights	RQ1/RQ2 的 mutable surface；RQ3 固定
\(H_r\)	agent harness	runtime instructions、tool policy、workflow、memory、validation logic 的组合
\(D_r\)	decision model	指挥搜索的模型；本轮内固定，不能把一次候选训练偷换成 decision-model replacement

2. 两个 evolution surfaces

\[ \mathcal{S}_{M}\left(H_{0},D_{r}\right)=\left\{\left(M,H_{0},D_{r}\right):M\in\mathcal{M}\right\}, \qquad \mathcal{S}_{H}\left(M_{0},D_{r}\right)=\left\{\left(M_{0},H,D_{r}\right):H\in\mathcal{H}\right\} \]

左边研究权重演化：固定 harness 与 decision model；右边研究 harness 演化：固定 runtime model 与 decision model。二者不能用同一个分数表混合汇报。

每个 weight candidate 都记录 parent checkpoint、registered data、update specification 和 agent 自有 validation data 的 provenance；每个 harness candidate 都记录 parent version、content hash 与 edit provenance。一个已训练 descendant 只有在下一轮才能被明确 promotion，不能在本轮内自动替换 decision model。

3. raw、selected 与 retained 不是同一件事

\[ \Delta^{\mathrm{raw}}(k)=\widehat{s}_{\Gamma}\left(Y(k)\right)-\widehat{s}_{\Gamma}\left(Y^{\mathrm{in}}\right) \]

对某个已评测 candidate (k) 的原始分数变化；它可以为正也可以为负。

\[ Y^{\mathrm{out}}= \begin{cases} Y\left(k^{\star}\right), & k^{\star}\neq\bot\ \text{且}\ \Delta^{\mathrm{raw}}\left(k^{\star}\right)\gt 0,\\ Y^{\mathrm{in}}, & \text{否则（rollback）} \end{cases} \]

\(k^{\star}\) 是满足 provenance、completion、exploration、terminal-record 等资格条件后分数最高的候选；不是简单的 best intermediate checkpoint。

\[ \Delta^{\mathrm{ret}}=\widehat{s}_{\Gamma}\left(Y^{\mathrm{out}}\right)-\widehat{s}_{\Gamma}\left(Y^{\mathrm{in}}\right)\ge 0 \]

非负是安全保留规则带来的 selection guarantee，不是每一次 update 都提升 capability 的证明。

最容易误读的地方：如果把“最终 retained 分数不低于 base”当作学习有效，就会把 rollback 伪装成能力增长。论文因此分别报告 best evaluated、selected、retained；只有 raw 超过 base 且候选完整，才进入真正的保留状态。

Paper Verified

隐藏评测：测量装置不能变成训练数据

六个 goal、520 个新写 items

隐藏评测在 controller 侧持续存在，却不作为 agent-visible benchmark。agent 看见的是 \(G\)、自己的数据和有限的环境状态；评测 item、参考答案、rubric、routing metadata、per-item feedback 和 judge reasoning 都保持隐藏。这样才能测试“代理目标是否迁移”，而不是允许 agent 直接训练在最终答案上。

Table 2：六个 vague goals 与对应 hidden evaluation slices。所有 top-level items 均由 domain experts 从头撰写。
Vague goal	对应评测组	Items	解释边界
Scientific and academic reasoning	Science and academic reasoning	75	科学、学术判断与多步论证
Humanities and social-science knowledge	Humanities and social sciences	110	人文与社会科学知识
Health and medical reasoning	Health and medicine	100	健康与医学推理
Mathematical reasoning	Mathematical reasoning	126	数学推理、计算与解释
Logic, reliability, and instruction following	同名 composite goal	89	当前版本不声称能分别识别 logic、hallucination resistance、instruction following
Academic and scientific writing	Academic and scientific writing	20	20 个 top-level bundles，harness evaluator 内部可能产生多个 scored examples
Total	六个互斥 slices	520	分 goal 报告，不做 item-level 跨 goal 混合总分

Figure 2 · hidden evaluation construction & information boundary

520+expert-authored
candidates

review错误、缺失、欠定义项

calibrateblind multi-model difficulty

auditexact/semantic dedup + overlap

freezescorer + manifest + SHA-256

Agent 可见：自然语言目标、自己的 validation data、合法 action、预算投影、有限 aggregate score。
Agent 不可见：hidden items、answers、rubrics、goal-routing identifiers、per-item judge reasons。

原论文 Figure 2 的信息结构与流程复刻（解释性图示，不是原始截图）。一手图与正文见 arXiv HTML。

构造、污染控制与 scoring

domain experts 从头写 item；GPQA、MMLU-Pro、MedQA 只作为格式、领域覆盖和大致难度参考，不复制、不改写、不加入。
独立 review 删除错误、不完整、欠定义或难以稳定评分的候选。
通过 blind multi-model difficulty calibration、exact/semantic deduplication、与参考 benchmark 的 overlap audit、scorer binding 和 local end-to-end validation。
数据注册阶段再次对 agent 要导入的公开数据做 exact/semantic overlap gate，命中隐藏评测的样本在进入 SFT、GRPO 或 continual pretraining 前被拒绝。
Seed-2.0、GPT-5.2、Gemini-3 在共同 blind screen 下回答候选，L0–L3 表示失败模型数；服务超时或错误重试，不作为失败计数。修订会产生新 manifest，正在运行的 campaign 不会悄悄切换。

OOD 的精确定义：论文用 OOD 表示 item 独立撰写、排除出 agent 的训练与自有 validation data，并且在 agent 构造的 learning signal 之外评测；它不声称这些文字在模型 pretraining corpus 的边际分布上绝对不重叠。

两个反馈协议

Final-only · open loop

可以训练多个 checkpoint，但在提交唯一 terminal checkpoint 前收不到 hidden score。24 次 run 全部只做一次最终评测，因此 agent 不能用官方分数继续搜索。

Adaptive-feedback · sparse black box

在 query allowance 内可以反复请求同一 goal slice 的 aggregate score。分数能用于 branch、继续训练或 stop，但 item 和 per-item feedback 永不释放；因此也存在 repeated-query selection bias。

系统设计trust boundary

最小交互环境：让 agent 决策，让 controller 兜底

为了不把“能写 shell、配环境、处理分布式训练”混入目标操作化，Aspire 给 agent 一个统一、typed、可组合的 execution tool。agent 不直接操作 shell、不下载 training repository、不组装 runtime，也不负责 credential、storage、job recovery 或 distributed mechanics。

Figure 3 · two evolution lanes

Weight evolution \(\mathcal{S}_{M}\)

agent

search / import / synthesize data

agent

choose SFT 或 GRPO、LoRA、hyperparameters、parent

controller

train → verify checkpoint → validate/evaluate → branch/stop

controller

complete candidate only; eligible positive candidate may be retained

Harness evolution \(\mathcal{S}_{H}\)

agent

edit runtime prompt、tool policy、workflow、memory、validation

controller

content hash + provenance + freeze

controller

execute frozen \(H_1\) on hidden writing items

boundary

score withheld; no \(H_2\) recursive handoff in RQ3

原论文 Figure 3 的两条路径的解释性重绘。核心是 strategic control 与 infrastructural control 的分离。

允许的语义动作

论文公开的是 action 类别与 trust boundary；完整 backend schema 未在论文正文中展开。
动作族	Weight surface	Harness surface	controller 记录
Data	search / download / import public data；synthesize/register data	使用自己的 validation data	数据 ID、版本、注册与 overlap gate
Update	SFT、GRPO、LoRA 或允许的配置	编辑 prompt、tool policy、workflow、memory、validation	parent、update spec、content hash
Check	job status、checkpoint verification、自有 validation、hidden aggregate evaluation	本地 validation 后 freeze，再 hidden execution	合法性、完整发布、资源使用、score submission
Control	branch、continue、stop、promote（跨 round）	freeze candidate；没有同轮递归 \(H_2\)	lineage、terminal record、rollback / selector

作者主张 vs 可验证边界：“minimal environment”意味着接口被压缩到语义动作，不意味着训练后端的实现简单或 agent 的行为可以完全复现。论文明确说完整 action schema、recovery 和 backend details 属于 system artifact；当前一手页面没有给出一个可直接运行的公开代码仓库链接。

实验与结果

三组实验：从目标替换，到权重，再到 harness

RQ1、RQ2、RQ3 逐步扩大问题范围，但不应把三组分数拼成一个 leaderboard：RQ1 复用 PostTrainBench 的 task-specific evaluator；RQ2/RQ3 使用六 goal 的 Aspire hidden set；RQ3 还只评 academic/scientific writing slice。

RQ1 · vague goal 如何改变 post-training？

作者保留 PostTrainBench 的 post-training interface 和原始任务 evaluator，只把 agent 得到的 benchmark identifier 换成 broad capability description。于是 agent 除了选择 update，还要隐式或显式选择 concrete goal、proxy training task 与 validation method。

Table 3：RQ1 PostTrainBench score comparison，百分比；weighted average 使用官方 benchmark weights。列间不是 prompt-only causal pair。
Benchmark	Official Claude Opus 4.8 Max	Vague Claude Opus 4.8	Official GPT-5.6	Vague GPT-5.6
AIME 2025	10.83	5.83	7.50	3.75
GPQA Main	28.35	24.89	30.13	27.04
HealthBench	31.68	12.62	27.39	9.93
HumanEval	47.33	56.63 ↑	63.95	56.40
GSM8K	68.87	66.98	69.48	74.35 ↑
ArenaHard	36.09	13.07	26.40	21.72
BFCL	47.13	58.63 ↑	94.38	79.38
Weighted average	32.90	27.07 (−5.83)	36.23	29.58 (−6.65)

aggregate 上，vague Claude 为 27.07 对 official Claude 32.90；vague GPT-5.6 为 29.58 对 official GPT-5.6 36.23。但 task-level 并非一致下降：HumanEval、BFCL（Claude）和 GSM8K（GPT）反而更高。这支持“目标解释改变了搜索结构”，不支持“模糊目标会在所有能力上均匀伤害模型”。

Figure 4 · score gap and search profile

Weighted average

Claude official

Claude vague

GPT official

GPT vague

Vague − explicit matched Opus pairs

decision thinking

GPU idle

active train/eval

+2,109 s thinking；+0.61 idle GPU-h；−1.27 active h；task materials density 2.98×，proxy script density 2.39×。

数值由论文 Table 3 与 Figure 4 的文字说明复刻。柱宽只用于视觉比较，不代表论文原图像素。

轨迹证据：搜索重心确实移动，但因果不能过度解释

官方项目页将这一过程切片概括为 48 个 matched vague-goal / explicit-task run pairs；论文附录另对双方共有的六个 settings 做 trace-level 交叉核对，覆盖 21 条 trajectories。匹配的 Claude Opus 4.8 轨迹中，vague goal 每个 matched pair 多 2,109 秒 decision-model thinking、增加 0.61 GPU-idle hours，而 active training/evaluation 少 1.27 小时；agent-visible task material 与 proxy evaluation script 的访问密度分别变为 2.98× 与 2.39×。独立的 trace-level 样本中，平均 tool actions 反而从 188.5 降到 179.2，说明“叙事更长”不等于“执行更多”。

官方 GPT-5.6 的 39.21 evaluations / 14.91 training starts = 2.63 evals per start；vague Claude 为 3.54 / 6.17 = 0.57，反馈密度约 4.6× 的差距。官方 Claude Opus 4.8 Max 为 2.89 / 5.14 = 0.56，但 thinking characters 达 165,851，而官方 GPT-5.6 为 30,895。它们是不同 search profiles 的 descriptive reference，不是严格控制变量。

RQ1 的 reviewer 读法：表格显示 outcome gap，轨迹显示 operationalization effort 增加；但官方参考 run 与 vague run 的模型命名、元数据、prompt profile 等并非完全匹配，作者也明确不把它当作 isolated prompt-only effect。

RQ2 · self-directed weight evolution

RQ2 从 instruction-tuned Qwen3.5-4B / 9B checkpoint 出发。4B 与 9B 的 Self 配置让初始 checkpoint 自己作为 decision model；外部 decision models GPT-5.6 Luna、Terra、Sol 都在相同 Qwen3.5-4B base 上搜索。评价只针对一个 goal slice，不测试所有 unrelated capabilities 是否保持。

Final-only

24 runs = 2 model sizes × 6 goals × Run A/B；每个 model–goal 报告两次终点分数的 Avg@2，不取 best-of-two。每个 run 允许在 40 GPU-hours 内启动多个训练 job，但只提交一个终点 checkpoint，训练期间收不到 hidden score。

Adaptive-feedback

30 configuration–goal cells = 5 decision-model configurations × 6 goals；每 cell 一次 run，最多 40 GPU-hours 与 10 h wall time。可以得到稀疏 aggregate feedback，再决定继续、branch 或 stop。

Table 4：final-only 终点结果。Mean 是 Run A/B 的算术平均，Delta 是相对 base 的未经四舍五入差值；负值在 rollback 后不会被保留。
Goal	Qwen3.5-4B Self					Qwen3.5-9B Self
	Base	Run A	Run B	Mean	Δterm	Base	Run A	Run B	Mean	Δterm
Scientific / academic reasoning	44.000	0.000	0.000	0.000	−44.000	45.330	48.000	48.000	48.000	+2.670
Humanities / social sciences	18.820	9.000	5.909	7.455	−11.365	27.450	10.273	9.091	9.682	−17.768
Mathematical reasoning	17.860	16.746	0.159	8.452	−9.408	25.160	0.714	2.540	1.627	−23.533
Health / medicine	87.000	63.000	68.000	65.500	−21.500	87.000	71.000	72.000	71.500	−15.500
Logic / reliability / instruction	27.460	21.437	23.754	22.596	−4.864	26.190	6.141	16.338	11.240	−14.950
Academic / scientific writing	19.270	0.000	15.308	7.654	−11.616	22.930	23.588	0.000	11.794	−11.136

1 / 12

model–goal Avg@2 高于 base；唯一是 9B science，45.33 → 48.00

3 / 24

单个 final checkpoint 高于 base；其余 21 次 rollback 到 base

18.609

4B raw final macro average，从 base 35.735 降到该值；9B 为 39.010 → 25.640

9B science 的两个 run 都为 48.00，且 36/75 item 正确；两次只共有 26 个正确 item，20/75 个 item 在两次 run 间翻转。因此“均值方向为正”不等同于 item-level 稳定性。五个 final checkpoint 使用 numeric-label MMLU SFT：21,000 个训练 target 都是 single-digit label，对应 279 个评测输出也都变成 single digit，分数为 0、0、0、6.141、0。这是格式错配造成 regression 的强烈案例证据，但不是随机因果实验。

Adaptive-feedback：能产出 checkpoint，不等于能超过 base

RQ2 adaptive-feedback 的完整聚合账本。论文 Figure 6 展示 30 个 cell 的分数分布；正文与 Appendix 对以下关键统计给出精确值。
统计对象	结果	应如何解释
configuration–goal cells	30；5×6，每 cell 一次 run	不是多 seed 的均值估计
产生 evaluated checkpoint	28 / 30	训练、发布和评测闭环通常能完成
满足 eligibility	21 / 30	还要通过 provenance、exploration、completion、terminal-record 要求
best checkpoint 高于 base	2 / 30	4B Self science 44.00 → 45.33；Terra 4B mathematics 17.86 → 20.10
最终 retained improvement	1 / 30	只有 Terra mathematics 清过完整 selection/rollback 规则
multi-checkpoint cells	22 cells；62 consecutive transitions	28 increase、13 tie、21 fall；14/22 后续超过首个 checkpoint
non-decreasing trajectories	8 / 22	单调上升也可能一直低于 base

Figure 7 · outcome and trajectory decomposition

evaluated

eligible

best > base

retained

reported counts30-cell denominator

原 Figure 7 的计数逻辑重绘。四个柱子的相对高度按 30-cell denominator 归一化。

局部斜率尤其容易误导：Qwen3.5-4B Self 在数学轨迹中从 0.79 → 1.75 → 2.38，看似连续上升，却远低于 base 17.86，是“从训练诱发的 regression 中恢复”，不是 above-base learning。Sol 搜索最广（33 evaluated checkpoints、76.56 settled training GPU-hours）却没有任何 goal 超过对应 base；Terra 找到 20.10 后又降到 2.78，再回到 18.17，说明继续搜索会抹掉早期 gain。

不同 decision model 的 search profile（adaptive-feedback）。数量是论文 Appendix 的轨迹账本，不是性能排行榜。
Decision model	训练 / 搜索行为	Evaluated checkpoints	Train GPU-h	结果摘要
GPT-5.6 Luna	SFT 24/28 registered plans；latest checkpoint continuation 21/28	22	89.57	未产生 retained above-base gain
GPT-5.6 Terra	33 plans；其中 6 个 GRPO	19	91.73	唯一 retained gain：4B mathematics 17.86 → 20.10
GPT-5.6 Sol	40 plans；36 eval attempts；23 search actions；12 distinct dataset names	33	76.56	搜索最广，但无 cell 高于对应 base
Qwen3.5-4B Self	GSM8K / Hendrycks mathematics 占 30/32 import events；GRPO 4/12 plans	22（总配置内）	—	跨 science、logic、writing 使用错配数学代理
Qwen3.5-9B Self	数学数据占 11/15 imports；SFT 9/11 plans	—	—	Self 决策模型与 base 同时变化，不能当作纯 scale ablation

RQ2 的核心结论：agent 更擅长“把一次 training loop 跑完”，不擅长“证明自己的代理目标对齐隐藏目标，并在后续搜索中不丢失”。因此论文把 execution success 与 capability retention 明确拆开。

RQ3 · harness evolution

RQ3 固定 Qwen3.5-4B 作为 runtime model，使用原始 Qwen-Agent 作为 engineered reference harness \(H_0\)。Qwen3.5-4B Creator、GPT-5.6 Luna、Terra、Sol 各自尝试从同一个 \(H_0\) 创建一个 successor \(H_1\)。Creator 分数不会返回给创建者；每个有效 successor freeze 后，在相同 20 个 hidden writing items 上执行 3 次，三次是 runtime variation，不是三次独立 evolution run。

Table 1：RQ3 academic/scientific writing hidden evaluation。task macro 等权 top-level items；example micro 等权 evaluator-scored examples；均为三次冻结执行的均值。
Configuration	Task macro	Example micro	相对 Qwen-Agent
Original Qwen-Agent reference	28.64	27.65	reference
Qwen3.5-4B Creator（no valid harness）	N/A（protocol score 0）	N/A（protocol score 0）	未产出可执行 \(H_1\)
GPT-5.6 Luna successor	19.32	18.33	−9.32 / −9.32
GPT-5.6 Terra successor	20.76	20.14	−7.88 / −7.51
GPT-5.6 Sol successor	27.22	25.97	−1.42 / −1.68

所有三个有效 successor 都低于原始 Qwen-Agent；Sol 最接近，但仍不是提升。Qwen3.5-4B Creator 没有合法 harness，所以按预先声明的 failure rule 计 0，而非用“未运行”伪装成性能。

Luna · proxy specialization

用一个自建 validation prompt 的 8-item checklist，把 \(H_0\) 从 7/8 提到 8/8，又在两个相似 prompt 上得到 8/8，约 40 分钟后停止。加入的五段式模板提高结构完整性，却把 hidden item 对机制、公式、参数、工程细节的直接询问改写成 study-design 问题。

Terra · output integrity

移除会编造 significance/effect size 的 reviewer 后，遗漏 final-answer invariant：calculator 后若模型最终输出为空，harness 提交 pre-tool fragment。两题只返回 342 与 520 字符，分数由 75.00/52.33 跌到 2.57/2.91，约解释该次下降的 70%。

Sol · conservative selection

搜索 3 小时 11 分，覆盖四类 validation task 与多种 prompt/tool 变体，拒绝有 hallucination、latency、repeated-call 或 scorer miss 的候选。最终回到 Qwen-Agent policy 并加 empty-response check；该 check 在 20 个 inspected items 上从未触发，说明 failure semantics 改善尚未转成 accuracy gain。

RQ3 的严格结论：一次 harness edit 可以产出可执行且行为不同的 successor，但在一个 goal、一个 runtime model、一步演化设置下，没有 successor 的均值超过人工工程参考。不能把“能写出代码”当作 harness capability 已经提升。

Figure / Table guide解释性复刻

图表应该怎样读

原论文 HTML 包含 Figure 1–8 与 Table 1–5。此页不下载或伪造原始图片，改用可访问的 CSS 信息图和精确数值表复刻结构；每个图下方都标明“解释性重绘”，并链接回一手 HTML，避免把重绘误认为论文截图。

Figure 1 · explicit task → vague goal

Explicit task

task format

difficulty anchor

metric

success criterion

Vague goal

diagnose gap

choose sub-goal

build signal

prove transfer

核心动机图：人类省略的“目标定义”工作被显式放回 agent 的搜索空间。

Figure 5 · final-only delta

4B Self

9B Self

12 个 model–goal Avg@2 中只有 1 个点高于 base：9B science +2.67。3/24 单次终点高于 base，但不构成稳定 pair-level gain。

每个点是两次独立 terminal run 的平均，不是 best-of-two。

Figure 6 · adaptive cells

evaluated

eligible

best > base

retained

30 configuration–goal cells 的结果密度；大多数有 checkpoint，极少数过 retention 门槛。

Figure 8 · score–compute trajectories

Terra math

Sol breadth

Terra：17.86 base → 20.10 → 2.78 → 18.17；Sol：33 evaluated checkpoints / 76.56 GPU-h，但无 above-base cell。

多搜索并不保证更好；续训可能先回退再恢复，必须有基线门槛和可审计选择。

表格优先级：Table 1 给出 RQ3 的直接比较；Table 2 定义 hidden goal slices；Table 3 给出 RQ1 完整 benchmark 数值；Table 4 给出 RQ2 final-only 逐 goal 结果；Table 5 给出训练资源。Figures 4–8 更适合读趋势和轨迹，不应替代表格中的精确 accounting。

复现信息未公开项明确列出

复现账本：可以复核结论，但还不能一键重跑

Model 与 evolution surface

论文公开且对复现有帮助的实验设置。
维度	已确认信息	未确认 / 未公开
RQ1	PostTrainBench interface；vague goal vs explicit task；Claude Opus 4.8 / GPT-5.6 与官方 reference trajectory	参考系统和 vague run 的完整 prompt、服务版本、所有元数据不完全匹配；不是 prompt-only causal design
RQ2 base	instruction-tuned Qwen3.5-4B、Qwen3.5-9B；Self 或 GPT-5.6 Luna/Terra/Sol 指挥 search	模型 checkpoint 版本、精确 tokenizer、服务端 decoding 细节未在正文列出
RQ3 runtime	Qwen3.5-4B 固定；原始 Qwen-Agent \(H_0\)；successor \(H_1\) 冻结后执行	一轮创建，不做 \(H_2\)；每个 successor 只三次 execution，per-execution dispersion 未报告
Update	agent 可选择 SFT / GRPO、LoRA 或其他 permitted configuration，也可选择 parent、data 和 hyperparameters	论文未统一公开 learning rate、optimizer、batch size、epoch/step、scheduler、precision、GPU 型号等全套 recipe

Data、prompt、inference 与 evaluator

Agent data

agent 可以搜索、下载或导入 public datasets，也可以 synthesize/register data；数据经过 registration 与 hidden-set exact/semantic overlap gate。论文只给出轨迹统计和具体错配案例，不提供一个可替代所有 run 的固定 data recipe。

Prompt contract

prompt 从 versioned setting profile 渲染，不是每次 ad hoc 编写。vague prompt 含自然语言 goal、被训练模型、action contract、budgets 与“hidden evaluator 只给 aggregate score”的规则；不公开完整 system prompt 原文。

Hidden scoring

deterministic/structured scoring 尽量优先；open-ended responses 使用 campaign-fixed rubric judge。adaptive 可重复 aggregate query；final-only 无中间分；RQ3 分数不回传 creator。

Compute

adaptive：30 runs、124 plans、107 jobs、322.610 training GPU-h；每 cell 上限 40 GPU-h / 10 h wall time。final-only：24 runs、83 jobs、149.236 GPU-h；4B 59.269、9B 89.967。RQ3 不更新权重。

Table 5：资源账本（training GPU-hours 不含 inference、judge、deployment、idle controller time）。
Experiment	Runs	Plans	Jobs	Train GPU-h	Replication / cap
Adaptive-feedback	30	124	107	322.610	每 configuration–goal 一次；40 GPU-h、10 h wall time / cell
Final-only	24	—	83	149.236	Run A/B；40 GPU-h / run
RQ3 successor creation	4 attempts	—	—	0	3 valid successors；每 successor 三次 execution

Paper vs. implementation / artifact boundary

一手来源中，arXiv 页面与官方项目页提供论文和概览，但没有列出可直接 clone 的 Aspire benchmark implementation URL。论文说完整 action schemas、recovery、backend implementation 属于 system artifact；当前公开页面没有把它们展开。因此可以复核数学定义、隐藏集构造原则、表格数值和证据边界，但无法仅凭公开页面复刻 controller backend、所有 prompt、数据注册细节和每个 run 的原始 trace。

复现等级：概念与结果账本 = 高可核对；experiment protocol = 中等（核心预算和选择规则已公开）；端到端运行 = 受限（system artifact、raw messages、hidden items、command outputs、per-item judge reasons 未完整公开）。不要把“论文有可审计轨迹”误写成“公众可下载全部轨迹”。

论文公开的 adaptive trace 摘要

可移植 artifact 包含 counts、timestamps、source hashes、resource use、submissions、selection records；确定性抽取覆盖 63,973 agent events、1,196 training events、2,194 phase events，恢复 124 training plans 与 95 candidate-evaluation attempts。它不含 hidden items、raw model messages、command outputs 和 per-item judge reasons，所以适合支持 search/selection/rollback 结论，不适合做 item-level causal analysis。

证据分层避免把推测写成事实

Paper Verified / Author Claim / Our Interpretation / Research Extension

Paper Verified

520 个专家新写 hidden items；30 adaptive cells 中 28 个有 evaluated checkpoint、21 个 eligible、1 个 retained gain；final-only 12 个 model–goal 均值中只有 1 个高于 base；RQ3 三个 successor 都低于 Qwen-Agent。

Author Claim

vague goals 把搜索重心移向 goal interpretation；当前 agent 常把 training / harness loop 跑通，却难以保留目标对齐的 capability gain。作者用轨迹、score 与案例证据支持，但结论限于六 goals 和协议。

Our Interpretation

ASPIRE 更像“目标发现 + 实验管理”的 stress test，而不是传统 post-training benchmark。它把 evaluator 设计本身变成系统边界，因而最有价值的失败信号是代理错配、错误格式与 retention，而非单一排行榜名次。

Research Extension

可把 hidden evaluator、confirmation slice、独立 capability preservation suite 与 lineage rollback 迁移到 procedural material：评估的不只是图像像不像，还要 graph 能编译、可编辑、跨 prompt 迁移且不破坏旧材质。

四个结论的逻辑强度

从证据到结论的边界。
结论	证据类型	强度与限制
模糊目标增加 target operationalization work	RQ1 score + matched trajectory accounting	方向清晰；非严格 prompt-only causal estimate
能够跑训练闭环，但难保留 capability	RQ2 final-only / adaptive outcome、rollback、trajectory counts	多个协议互相补充；adaptive 每 cell 一次，非多 seed
局部上升可能是 recovery，不是 improvement	同一 lineage 的 base、checkpoint 序列	机制案例可信；不能推广到所有 update 类型
harness 可执行不等于性能提升	RQ3 frozen execution + creator traces	固定 Qwen3.5-4B、一步 evolution、20 writing tasks，外推范围窄

Reviewer commentary后续研究

Reviewer 视角：仪器设计很强，证据仍是第一版

Strengths

把 target operationalization 从隐含前提提升为可测对象，清楚补上“what to optimize”。
隐藏 evaluator + immutable manifest + overlap gate 使 proxy overfitting 与直接泄漏可被区分。
model weights 与 harness 的 evolution surfaces 分离，避免把 prompt edit、训练 checkpoint 和 decision model 混为一谈。
best / selected / retained 分层、safe rollback 和 provenance 记录是很实用的 experiment hygiene。
不只展示结果，还分析 numeric-label SFT、Luna proxy specialization、Terra empty-output path、Sol conservative selection 等失败机制。

Weaknesses

只有六个 goal；logic/reliability/instruction-following 合成一个 composite slice，writing 只有 20 个 top-level bundles。
adaptive 是 5×6 的 one-run-per-cell，不是多 seed；Terra 的 retained mathematics gain 没有独立 confirmation slice。
hidden items 与 content-bearing traces 受控访问，外部研究者无法完整复现 item-level 分析。
RQ1 的官方 reference 与 vague runs 不是完全匹配的 prompt/system metadata，结论不能读成因果效应。
RQ3 只做一步 \(H_0\to H_1\)，不含 recursive harness evolution 或 model–harness co-evolution；per-execution dispersion 也未报告。
完整 optimizer、learning rate、batch/precision/GPU 与原始 prompt recipe 未公开，执行层复现门槛较高。

Potential Improvements

如果把 Aspire 发展为长期 benchmark，以下改进最值得优先。
方向	具体做法	要解决的失真
Nested evaluation	将 adaptive feedback slice 与最终 confirmation slice 分开；保留后一组完全不查询的 holdout。	反复 query 同一 items 的 selection bias、局部 proxy 过拟合
Replication	每 configuration–goal 至少多 seed、多 decision-model temperature、报告置信区间与 wall-time variance。	当前 30 cells 中单次轨迹无法估计稳定性
Factorized goals	把 composite reliability 拆成可单独识别的 logic、hallucination resistance、instruction following，并报告 macro 与 micro。	目标成分不可辨识
Capability preservation	每个 goal 旁配 unrelated capability suite，记录 retention、forgetting 与 calibration drift。	RQ2 当前只测目标 slice，无法判断 instruction tuning 能力损失
Recursive evolution	允许 verified descendant 在下一 round 成为 decision model，研究 \(D_r\to D_{r+1}\) 是否能改进目标发现而非只改 prompt。	当前 Self / external decision model 固定，尚非完整 recursive self-improvement
Open artifact	发布 action schema、controller simulator、prompt profiles、dataset registry、replayable trace 与 redacted evaluator。	把“auditable”转成可独立重跑

最值得延伸的研究问题：一个 agent 是否能先学习“如何判断自己的代理目标是否可靠”，再决定是否花 GPU-hours 训练？换言之，下一版 benchmark 不只要奖励找到高分 checkpoint，还要奖励在不确定时主动构造更具覆盖性的验证集。

Research Extension不是论文已验证结果

迁移到 Procedural Material Generation：把“目标操作化”落到 graph 与 renderer

Aspire 本身不研究 Substance Designer、SBS graph 或 material rendering。下面是基于论文机制的研究延伸，不能写成 Aspire 的实验结论。它的价值在于提醒我们：材质生成 agent 的“自我改进”也可能只是在局部代理上变好，而没有形成可执行、可编辑、可迁移的材质能力。

Vague G“更像参考材质、可编辑、可平铺”

Diagnose颜色、尺度、频率、法线、粗糙度缺口

Proxy选 graph data、node grammar、损失与 validation

Execute真实 SBS cook / render / structural check

Hidden holdout隐藏参考图与未见 graph family

RetainSSIM/LPIPS + 可编译 + 无回归

将 Aspire 的抽象映射到 procedural-material agent 的一个可研究版本。
Aspire 概念	材质研究映射	必须单独验证的边界
vague goal \(G\)	文本或图像描述：材质外观、结构、可编辑性、tiling 要求	自然语言是否被错误缩减为“颜色相似”
agent proxy	训练参考、node template、graph token、局部 image loss、材质类别采样	proxy gain 是否迁移到隐藏 reference 与未见 node topology
controller evaluator	隐藏参考图、真实 cook/render、graph validity、独立重建、结构与 perceptual metrics	不能用 mock render 或仅看结构 PASS 代替相似性
candidate lineage	SBS/SBSAR checkpoint、graph parent、dataset hash、参数更新、render evidence	保留结果必须可追溯、可复现、可编辑
safe retention	只接受同时通过 compile、renderer、目标分数与 preservation suite 的候选	SSIM/LPIPS、视觉质量、可编辑性和旧能力之间可能 trade-off

不要过度类比：Aspire 的 \(\Delta^{\mathrm{ret}}\ge 0\) 是 controller 的选择保证；它不等价于每个材质图更新都更接近参考图，也不解决 perceptual metric 与人类审美错配。材质任务仍需要独立的真实 cook/render 证据和参考对齐指标。

一个更严格的材质版实验设计

给 agent 只有 broad goal 与 typed graph/render actions；隐藏 holdout reference images、graph families 与最终阈值细节。
允许 agent 选数据、graph grammar、参数优化、renderer-in-the-loop validation，并记录每次 candidate 的 source hash 与 parent。
将 proxy validation 与 hidden holdout 分离；对 hidden 只返回 bounded aggregate，永不返回逐像素差异或可直接复制的参考图。
最终保留条件同时要求真实 cook/render、节点合法性、独立重建、perceptual similarity 和 unrelated material capability 不回退。

MathJax 3 check

页面公式渲染验收

以下是项目规范要求的代表性公式，使用标准 TeX、单反斜杠 HTML 源码，并确保比较符号使用 \lt / \gt，不把 Markdown 的星号或下划线转义带进 MathJax。

\(I^{\ast}\), \(z^{\ast}_{\mathrm{img}}\), \(z^{\mathrm{img}}_{1:I}\), \(z_{\lt t}\), \(P_{\theta}(\mathbf{z}\mid\mathbf{x})\), \(\beta_1=0.9,\ \beta_2=0.95\)

\[ P_{\theta}(\mathbf{z}\mid\mathbf{x}) = \prod_{t=1}^{T} p_{\theta}\left(z_t\mid z_{\lt t},\mathbf{x}\right) \]

\[ d_t=\mathrm{LPIPS}\left(R_t,I^{\ast}\right) \]

这些最后两式是页面渲染验收样例，并非 Aspire 的训练目标；Aspire 没有提出一个 LPIPS 或 autoregressive token objective。

一手来源

References

Wu et al., 2026. Aspire: Can Models Self-Evolve from Vague Goals? arXiv:2608.31111v1。摘要 / PDF / 版本信息。
Wu et al., 2026. 同论文的 arXiv HTML 全文，本文的公式、Table 1–5、Figure 1–8、Appendix A–D 均以此为一手核对源。
Self-Developing Agents project page. Aspire、S3Gym、HarnessDev 的统一研究定位、跨 benchmark 关系与公开结果概览：self-developing-agents.github.io。
Shi et al., 2026. S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? arXiv:2608.31100。原始页面。
Wu et al., 2026. HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? arXiv:2609.01437。原始页面。
PostTrainBench 是 RQ1 的原始 task/evaluator 语境；Aspire 正文明确说明 vague-goal 结果与 official reference 共用 benchmark definition 与 aggregation weights，但不作为 prompt-only causal pair。入口请从论文 References 与 Appendix B 追溯。

阅读建议：先读“先给结论”与“形式化”，再看 Table 3（RQ1）和 Table 4（RQ2），最后看 Appendix D 的三条 harness trajectory。这样最容易把“代理目标错误”“训练回归”“输出完整性”区分开。