递归自我改进被普遍视为智能体技术的下一级台阶,但真正跑过发现循环的团队都知道,这个循环里有一个部件至今还是人手写的:探索策略——往哪儿分支、并行跑哪些、什么时候砍掉一条死路。Google 与 Google DeepMind 联合马里兰大学、弗吉尼亚大学的研究团队在 9 月 14 日放出的 Dream-RSI 论文(arXiv:2609.14858,项目页)里,把矛头对准了这个瓶颈。
探索策略的两难
论文的分析很直白:固定策略无法从积累的经验里学习,会反复为已经失败的方向付费;而在线优化策略又同时撞上两堵墙——元层面的反馈又慢又贵,因为评判一个探索策略意味着看它把整场发现跑完才能打分;而策略空间巨大,大多数候选都是坏的,每个坏候选都要付出一整次 rollout 的代价才能排除。
历史就是模拟器
Dream-RSI 的核心洞察是:这份反馈你早就付过钱了。一次完成的发现过程不只是可以重读的文本,而是一棵结构化的树,记录了智能体做过的每一个探索决策及其真实执行结果。而探索策略做的事恰恰只有一件:根据已见内容决定下一步继续哪条尝试。所以一个替代策略根本不需要重新运行任何东西——它以不同顺序走同一棵记录在案的树,它要问的每个结果都已经在磁盘上。论文称,可以在零执行成本下筛掉成千上万个候选策略,只把真正的一次在线 rollout 留给胜者。
有意思的是,这个模拟器不是学习出来的世界模型,而是精确的:在已实现的搜索空间上没有任何预测成分,因为它就是那个搜索空间本身。代价是边界同样锋利——策略只能做梦到历史真正去过的地方。这正是它必须做成循环的原因:每次上线部署都记录一棵新树,智能体拥有的不是一个世界,而是一个不断增长的世界池;在更多世界上做梦筛出的策略,胜过只调参于单次运行运气的策略。
机制上还有一个漂亮的设计:离线阶段是一个策略开发智能体对策略代码连续改写多版,每一版都在全部历史上重放打分;因为当前部署的策略本身也在候选集里,胜出者永远不会比现任更差。
论文报告的数字
在算法工程、数学优化、GPU kernel 工程三个领域的八个发现任务上,论文报告的结果是:GPU kernel 任务 VGG16 上以 2.43 倍更少的迭代达到相当性能(LayerNorm 为 1.79 倍),ConvDiv 在相当预算下拿到 2.09 倍的分数;Lasso 正则化路径任务上,Dream-RSI 用 Gemini-3.1-Pro 只花了 317 次发现智能体调用,而对照系统 SimpleTES 花了 51,200 次——论文给出的口径是调用数少 162 倍;数学优化任务上 SimpleTES 拿着最佳单项数字,但那是 51,200 代的成本,Dream-RSI 用的是不到 1,000 代。论文同时提到,与固定探索相比,发现智能体调用削减约 1.7 倍。
更反直觉的是分析一节:把历史轨迹抽象成高层洞见再注入 prompt 的语义指导方案,在同等预算下一致地差于不做指导——强先验会过度约束搜索空间,压制探索多样性。学到的策略也不是单调变贪心:每轮评估尝试先从 110 降到 50,进入平台期后再回升到 90 附近,而这些放宽与下一轮分数跳升正好对齐。
所以呢
多数智能体框架把历史当成两种东西:要么是塞进上下文的文本,要么是微调权重的训练数据。Dream-RSI 给了第三种读法——历史是环境,是已经付费建好却一直闲置的模拟器。这个视角不只适用于发现类任务:任何留下完整执行轨迹的长程智能体,理论上都坐拥同样的重放资产。
当然要诚实:以上数字全部来自论文自报,受控基线 Recursive Fixed Exploration 也是团队自己搭的,独立验证还需要时间;而且只能在历史去过的地方做梦,冷启动阶段世界池很小,方法的价值要靠循环转起来才兑现。但即使打对折,把探索策略从手写脚本变成可进化代码、把元层面的评估成本压到接近零,这个方向对所有做智能体基础设施的团队都是个提醒:你磁盘上那堆轨迹日志,可能比你以为的值钱得多。
一句总结:历史不只是上下文,它是你已经付费却从未真正使用过的模拟器。