Terminal-Bench 2 上,Qwen-3.8-27B 的 pass@3 停在 57.0%。有意思的是,模型不动、换一套更强的执行 harness——就是那个管理观察、工具调用、验证、重试、停止的执行脚手架——任务通过数立刻往上走。麻烦在于,多出来的那部分增益记在 harness 账上,不属于模型本身:部署时脚手架一撤,成绩就还回去了。
借来的经验要先「翻译」
腾讯 HY LLM Frontier、马里兰大学等机构的 Recursive Self-Rewrite(RSR)框架做的就是这笔「翻译」。他们让同一个 Qwen-3.8-27B 在三套 harness(Terminus 2、Recursive Self-Reflect Terminus、StateM)下跑约 3000 个自建终端任务,三者合计解出 759 个,比最强的单套 harness 多 34.3%。但在专用 harness 下录制的轨迹混着大量控制器介入和工作流约定,直接拿去训练,模型会对外部拐杖产生依赖。
RSR 的解法是把模型自己拆成三个角色:planner 把成功轨迹里的流程蒸馏成 runbook;critic 专门检查验证器和答案有没有泄漏,泄漏就拒绝、带着反馈递归重写;executor 在全新沙箱里按 runbook 走通用 harness 重做一遍。2001 条源轨迹最终扩写成 11094 条「去过拐杖」的轨迹。
成绩单与那盆冷水
拿这些轨迹做 SFT,Terminal-Bench 2 pass@3 从 57.0% 提到 74.2%;Terminal-Bench 4 从 1.5% 到 9.1%;自建的 Terminal-Bench Hard 从 39.0% 到 63.0%;Software Terminal-Bench 从 3.0% 到 6.0%;Long-Horizon 的过程奖励从 0.21 升到 0.29,同时超过基座模型和直接轨迹 SFT。
两处冷水:一,最难的 Terminal-Bench 4 仍是个位数,长程过程奖励也只从 0.21 爬到 0.29;二,论文实验显示,不做改写的直接 SFT 虽然在部分基准上提升,却会因为循环行为在另一些基准上退化——反过来印证「改写」才是关键步骤,而不是简单堆数据。另外,RSR-27B 权重已按 Apache-2.0 挂上 Hugging Face,但 model card 的 README 目前还是空的,想复现的人得自己回去啃 16 页论文。
和 Hyra 不是一回事
看过腾讯混元 7 月发布的递归自我改进研究智能体 Hyra-1.0 的读者,可能觉得这两个名字像。区别在于:Hyra 是运行时靠递归自我改进的智能体产品,RSR 是训练期的数据工程方法——把改进花在 SFT 数据上,让经验直接沉淀进权重。一个追求边跑边进化,一个把经验折旧进模型。
在评测 harness 越来越强的当下,榜单成绩越来越像「模型 + 脚手架」的合签分。RSR 给了条干净的路径:经验可以借,但改写到不带拐杖也能带走,才算模型自己的。论文见 arXiv:2610.02826,权重见 IntelligenceLab/RSR-27B。