Dream-RSI

01 / THE QUESTION

为什么要优化“怎么搜索”？

长程发现不是一次生成：提出程序、运行、测量、修改，可能重复数千次。一次优质代码生成固然重要，但把后续预算交给哪条分支、何时重开方向、多少请求同时执行、什么时候停止，决定了大量成本是否产生价值。固定策略不会从自己积累的失败中更新；直接在线优化策略，则每试一个坏控制器，都可能支付一次完整发现流程的代价。

本文填补的缺口是元层反馈的复用：把原先只用于下一次提示的历史，变成可以评估其他控制器的环境。核心假设是：从已发生轨迹中学到的调度规律，能迁移到下一轮随机生成过程。回放让筛选便宜，但这种迁移仍需要真实上线验证。§1–2，pp.2–4

02 / REPRESENTATION & PIPELINE

一个树，两个执行环境。

输入是任务说明、初始工作目录、固定的代码生成 agent、固定的评测器，以及已完成轮次的历史。输出包含两层：对象层的候选程序或数学构造，以及元层的可执行探索策略。这里没有编码器—潜变量—解码器架构，也没有图 token 生成模型；“图”主要表示发现过程的依赖关系。

可选动作受到结构限制

策略选的是“从哪些已知状态继续”，而不是直接写下一段科学程序。批次大小决定并行量；空批次表示停止。非根节点被扩展后不再是当前叶子，因此正文中的非根分支实际沿链推进，根可以不断开新链。这不是允许任意内部节点重新分叉的通用树搜索接口。上式用 \(\mathcal{A}\) 区分批次集合，原文也将它记为 \(A(\mathcal{T};W)\)。

Online：真的生成，结果是随机的

每轮从新树 \(\mathcal{T}_t^{0}=\{r\}\) 出发，旧历史 \(\mathcal{H}_{t-1}\) 提供上下文，但不等于新树本身。一个 worker 恢复父节点工作目录、调用固定 discovery agent 并评测，得到一个新子节点。相同起点再次生成可能不同。轮内策略代码固定，选空批次或到达 \(K_1\) 则停止。

Replay：只揭示，不重新生成

非根节点只返回它已记录的唯一后继；根返回尚未揭示的、创建时间最早的根子节点；不存在记录就返回空集合。策略只读取已揭示观察，不能查看未来分数。空批次、达到 \(K_2\) 或整棵树已揭示都会结束回放。选了非空批次却没有可揭示后继仍消耗一次决策轮，因此实现必须处理边界。

这条转移公式保留父子顺序，只改变选哪些链、走多深、并行如何分组、何时停。它评估的是同一份已实现结果的不同访问方式；不包含新提示、新程序、新采样随机数会造成的反事实结果。§3，pp.5–6

Agent 的各个角色分别是什么？

03 / THE OBJECTIVE

“更好”的定义，包含三个目标。

设回放终止于 \(k_i^{m,\ast}\) 轮，揭示的非根节点数为 \(N_i^{m}=|\mathcal{T}_i^{m,k_i^{m,\ast}}|-1\)。每个非根节点对应一次真实发现尝试，因此它是回放所代表的工作量，而不是本次回放实际又执行了这么多调用。

第一项鼓励到达好解；第二项惩罚大量尝试；第三项鼓励把值得做的尝试放到同一轮。分母至少为 1，避免空回放除零。并行奖励使用每轮平均尝试数，不是对异构任务真实墙钟时长的精确模型。系数决定质量与成本的交换比例；正文未报告具体数值，不应凭经验替作者补上。

在所有历史世界上选择，而不是只挑上一棵树

策略开发 agent 可利用当前和此前修订的反馈，逐步提出新代码；候选并不要求每一步都变好。选择阶段保留当前上线版本 \(\pi_t^{0}=\pi_t\)，所以：

一个可以动手调的回放评分例子

Our Interpretation · 教学数值，不是论文实验。两条策略已达到相同的最好分数 1.5。A 揭示 12 个节点、用 3 轮；B 揭示 8 个节点、用 4 轮。调整系数观察为什么“更少调用”和“更并行”可能冲突。

附录实际提示词：另一套评分描述

附录 B.2 让 evaluator 扫描一个单独的 \(\beta\) 控制旋钮，比较 attainment（达到的质量）—总 probes 的曲线；并行惩罚是各扫描点“有效顺序轮数 / 总 probes”的平均。一个含 \(b\) 个请求的批次，有效顺序轮数按 \(\lceil b/W\rceil\) 计。串行惩罚近 1，充分并行近 \(1/W\)。

这里的 \(\beta\) 是控制探索宽度、耐心和剪枝阈值的策略参数，不是正文 Eq.(1) 的 \(\beta_1,\beta_2\)。论文没有充分说明这两种评价的对应关系、AUC 精确归一化、扫描网格与 \(\lambda\) 数值。复现时必须记录选择了哪套定义，不能把附录的实现提示当成正文线性目标的直接代码展开。Appendix B.2，pp.19–23

04 / REPRODUCTION NOTEBOOK

不训练权重，训练预算仍不等于零。

数据与评测划分

Lasso 在与 SimpleTES 相同的 17 个合成实例上搜索，覆盖维度、稀疏度、相关性与 active set 的变化；再测六个 held-out 数据集：Gisette、RCV1、DNA、Leukemia、Colon、Duke Breast。这是搜索任务与下游泛化测试划分，不是 LLM 的训练/验证/测试语料划分。数学任务以候选构造及其目标函数评测；kernel 从 KernelBench 选出四项，并非完整套件普测。本文没有构建图像—图程序配对数据集。

在线提示词：完整任务要求的中文归纳

附录 B.1 已公开提示词，本页采用语义整理而非伪造原始 prompt。运行时填入 node/history/baseline 路径、评测程序和 problem 文件，另预留 direction_guidance 插槽。

1. 先读全部可用历史。读取 sibling attempts、history、baseline 的 proposal、对应 score，失败时读取 error；排除自身 attempt。测量结果优先于 proposal 的自我宣称。
2. 从失败中识别机制。区分坏想法与好想法的 bug；后者只有找到代码中具体错误并提出修复才值得重试。
3. 抑制局部饱和。若大量微调围绕同一机制且收益变平，优先探索结构不同的机制或已成功组件的新组合。
4. 实现与留痕。提交新机制、组合或定向修复；写 proposal 与程序文件，其余文件只读；未评测前不能宣称正确或超越 SOTA。提示还禁止终止无关进程。

“不加 Guidance”的对照仍然有上述读历史要求；因此 Figure 5 比较的是额外的方向性总结，不是“完全不用历史”与“使用历史”。

策略开发提示词：强约束下的代码改写

只修改指定 method 文件，实现 OptimalPolicy.solve(self, question, budget=None)，不能代替 discovery agent 解决科学任务。API 提供 reset、observed、legal_actions、legal_roots、opened_branches、meta、probe_batch、baseline_score、max_parallelism。Observation 包含 score、evaluated、valid、fail_class、error、父节点/基线收益和有效测试数量。

β 与 grid：附录多出的两层控制

一个 rollout 内 \(\beta\) 固定；高值带来更宽探索、更深耐心、更弱剪枝。离线用固定网格扫描它；跨真实轮次才更改默认值。提示建议检查最近 2–3 个 live manifests 与相应 sweep：仍在进步时大体保留，平台且高 β 提供合理收益时小幅增加，反之小幅下降；典型步长 0.1–0.2，约束到 [0,1]，证据不足用约 0.6。这些是手工规定的元启发式，不是无先验涌现。

每个策略还必须实现 plan_grid(context)：在新在线 grid 建立前选择 branch_count 与 refine_count，返回理由。若每链允许 R 次 refinement，加上根尝试共 R+1 个单元。可选宽深受 hard caps 限制；回放计划超出已有树的宽深支持，不能获得回放 reward。history 用于判断“多方向早获益”还是“少数方向晚获益”，但不能读取当前轮未来结果。Appendix B.2，pp.21–23

05 / EXPERIMENTS

结果有收益，也有明确边界。

5.1 Lasso：优化求解器，不是预测准确率

输入 \(X\in\mathbb{R}^{n\times p}\)、响应 \(y\in\mathbb{R}^{n}\)、递减正则系数序列，输出每个系数下的权重。方法寻找能够快速计算整条 regularization path 的程序。

候选近似解须对每个 k 满足 \(F_k(\widetilde w_k)\le F_k(w_{k,\mathrm{sklearn}})+10^{-6}\)。正确性检查用不同于计时实例的新实例；任一要求失败，搜索分数为 0。否则令计时实例集为 \(\mathcal I\)，搜索奖励为：

这是整条路径耗时的几何均值的倒数；下表的 held-out Avg. 则是六个数据集运行时间的算术平均，二者不要混用。Appendix A，p.17

Figure 3(a) 数据重建 · Runtime / ms，越低越好

所有数值按原图转录；粗体为各耗时列全表最佳，下划线为第二（不计并列规则歧义）；calls 不是运行该求解器的推理次数，而是发现它的生成预算。

原图 SimpleTES † 保留了匕首标识，但图注未解释其含义；本页不猜测它是重跑、修正还是硬件变化。

Our Interpretation Figure 3(b) 的 Pro 曲线在最后一轮前并非始终优于固定探索，最终跃升才形成优势；Flash 曲线较早体现收益。没有重复种子和置信区间，不能判断最后一次跃升的方差。跨 SimpleTES 比较同时改变模型与编排方式；更强的因果证据来自同 backbone 的 Recursive Fixed Exploration 对照。

5.2 数学发现：三个问题，三种结论

Table 1 · 原论文数学发现对照

在与固定探索对照时，Sum–Difference 从 1.144047 → 1.145427，绝对增加 0.001380（约 0.121%）；Circle Packing 在显示精度上持平；Autocorrelation 从 1.456001 → 1.456375，反而稍差。相比 SimpleTES，后者自相关结果 1.453675 仍更优。文中声称本方法数学实验少于 1,000 generations，而 SimpleTES 为 51,200；这支持预算差异，但不是所有数学任务质量都更高，也不是总美元成本精确少 50 倍。§4.2，Table 1

5.3 GPU kernels：固定正确性约束下的速度

选取 KernelBench 的 VGG16、LayerNorm、ConvDiv、ConvMax。生成实现需通过参考实现的正确性检查，性能分数是逆运行时间，单位 \(1/\mathrm{ms}\)。比较双方使用同一 Pro agent、初始化与评测协议。

换算百分比是本页依据论文倍率的计算；原图未提供每个点的完整数值表，本页不伪造采样点。四项结果不能外推为 KernelBench 全集表现，论文也没有 user study。

06 / ABLATION & BEHAVIOR

历史怎么用，比有没有历史更重要。

Figure 5：额外语义指导的对照

在 ConvDiv 上，作者为固定探索和 Dream-RSI 各加一个版本：将历史总结为高层方向建议，注入后续提示。最终在相近预算下，两个加 Guidance 的版本都弱于各自不加 Guidance 的版本；但原曲线中局部预算段存在交叉，因此“任何预算点都更差”过强。

不能由此推出“文本记忆无效”“历史总结普遍有害”或“回放替代所有上下文”。B.1 本来就要求发现 agent 阅读历史，guidance 对照只是多加了一层方向摘要。也没有单独消融“移除并行奖励”“固定 β”“禁用 failure recovery”“只回放一棵树”来拆分各部件贡献。

Figure 6：先省预算，再增加尝试

调用数由 110 减少到 E4 的 50，E5 又增加到 92，而较大性能跃升发生在 E6（1.499 → 1.770）。这与“平台后增加探索”的叙述相容，但不是每一次加大预算都立刻换来大收益；附录本身也规定了平台后调整 β 的启发式。仅这一轨迹不能证明某个 β 改动造成某次性能跃升。

07 / PAPER VS. IMPLEMENTATION

附录很具体，完整复现链还不完整。

截至核查日，官方仓库目录主要为 README、CITATION、展示资产和 PDF，未见完整控制器、回放引擎与 reproduction scripts。README 将它们标记为准备中；因此本页可检查公开提示与附录求解器，无法声称已运行或审计完整 Dream-RSI 系统。仓库 arXiv badge 仍写 coming soon，而论文已发布，是元数据滞后。官方仓库 ↗

Appendix C 的发现程序到底做了什么？

给出的 Lasso solver 用 C++ / Eigen / OpenMP，外层为沿正则路径 warm-start 的 active-set 优化。先筛去不太可能激活的特征，再在活跃集做 coordinate descent；相关性缓存与 lazy Gram 矩阵减少重复计算，最后通过 KKT 检查确认被排除的特征是否需要纳入。它不是 SimpleTES 所述按规模切换 LARS 与 coordinate descent 的方式。

Cauchy–Schwarz pruning 的作用是“便宜证明暂时无需精确算梯度”：基于一个旧 residual 及梯度锚点，估计 residual 变化能带来的最大梯度变化；若上界仍未超出 KKT 阈值，就跳过精确内积。不能认证时才重算，剪枝失效则刷新锚点。下式是对代码机制的解释性整理，非正文编号公式：

这里 r 是残差而非发现树根；若右侧不超过相应 KKT 阈值，就可避免某次精确梯度计算。这说明发现收益不仅来自数学算法，还来自工程层面的数据布局与缓存。

可见的硬编码与硬件依赖

• 仅在 \(p\ge500\) 且 \(n\ge150\) 时启用 Cauchy–Schwarz 剪枝（Listing 3, line 65）。
• 候选重算特征超过 \(0.3p\) 或自上次刷新经过至少 8 个 λ 步时，执行完整刷新（line 536）。
• 64-byte 对齐、维度补齐到 8 的倍数、4 路寄存器分块；一些并行分支使用工作量阈值 150000。
• 收敛阈值 \(10^{-9}\)、最多 100000 次内迭代；编译 flags 包含 -fopenmp 与 -ffast-math。

这些是公开可见的 discovered solver 工程选择，并非未公开的控制器 bug。它们可能依赖规模与硬件；快速浮点优化与容差检查需要一起复测。不同 CPU、线程数或 BLAS/Eigen 配置下的收益不能直接照搬。Appendix C，pp.23–36

08 / REVIEWER COMMENTARY

最有价值的是反馈复用，
最脆弱的是反事实外推。

最值得追问：更换访问顺序，结果还能原样沿用吗？

Our Interpretation B.1 要求发现 agent 阅读跨分支历史。如果真实运行的调度顺序变了，某次生成时可见的其他分支结果也会变化，进而改变输出。而 replay 固定返回原节点的结果。因此“确定性读取旧记录”是精确的，“这些就是新策略真实在线将产生的结果”并不精确。可靠外推需要假设相关上下文不变，或者明确把回放仅视作经验代理。

这不让回放失去价值：廉价且有偏的代理仍可能筛掉差策略。关键是量化偏差，而不是把有限历史世界等同于完整环境模型。可以针对同一 prefix 重新生成多次，并改变跨分支上下文，测策略排序是否稳定。

Potential Improvements：可验证的下一步

1. 留出世界与时间切分：只在早期树开发，在后续冻结树测试，再少量在线验证；报告 replay rank correlation、regret 与置信区间。
2. 支持集感知调度：区分“回放未记录”和“在线无价值”，在盲区保留探索预算；研究不同世界覆盖度下的收益。
3. 实际成本目标：记录每节点时间、tokens、GPU 占用，优化质量—美元—墙钟的 Pareto 前沿，替代平均批大小这一延迟代理。
4. 分解强先验：分别消融 recovery、grid planning、跨轮 β 规则、AUC 与并行惩罚，确定哪个部件真正必要。
5. 多样性干预：直接测程序机制与行为差异，比较不同强度、不同生成方式的 guidance，检验“语义先验压缩搜索”解释。

Research Extension · 迁移到 Procedural Material Generation

以下是研究设想，本文没有在材质生成上验证。可以把每次材料图修改保存为节点：图程序或 SBS/Python、父节点、renderer 配置、渲染图、有效性、图复杂度、感知误差和耗时。控制器选择重开 topology、继续参数优化、修复无效节点或停止；实际动作仍由固定图生成器与优化器执行。

这里 \(R_v\) 是节点材质的渲染图，\(I^{\ast}\) 是目标图。可把 q 替换进回放质量项，但需要另加执行有效性、复杂度或多视角约束，避免低 LPIPS 的 bitmap 捷径。目标图、光照、相机或 renderer 版本一旦改变，旧记录分数未必继续成立。

最小有说服力的实验是：同一目标材质、相同生成器、相同渲染预算，对比固定 beam / 随机 restart / 手工 early-stop / 回放策略；用未参与策略开发的材质与随机种子测试。记录 graph validity、LPIPS、多视角一致性、拓扑多样性与真实渲染成本。若控制器也改变生成 prompt，必须重新评估该动作的结果，不能从旧树凭空补出新图。

09 / SOURCES & READING CHECKLIST

回到证据。

1. Zheng et al. Dream-RSI: Recursive Self-Improvement through Evolving Worlds. arXiv:2609.14858v1, 2026. 本页主要事实来源；PDF 共 36 页，正文 12 页，其后为参考文献与附录。
2. 原始 PDF（含 Appendix A–C）：任务公式、提示词、发现出的程序，以及本页所嵌 Figure 1–6 的来源。
3. arXiv HTML：辅助核对结构和表格；涉及细节以 PDF 为准。
4. 官方项目主页与 demo：用于交叉核对整体说明，演示数值不当作实验测量。
5. 官方 GitHub 仓库：核查公开范围与发布状态（2026-09-18 快照）。

本页为中文分析性整理；Paper Verified 表示论文报告的实验观察，不表示本地独立复现；Author Claim、Our Interpretation 与 Research Extension 分别标识作者解释、本页推理和未来设想。原图版权归原作者；本页仅嵌入与论文讨论直接相关的图表。