教智能体干活,业界通行做法是往上下文里塞技能:检索技巧、工具用法、检查清单,越攒越厚。港中深团队 10 月挂出的 R2Orch 论文反着来——技能只是脚手架,编排器把技能学进参数之后,再把脚手架逐根拆掉,最终零技能上阵。这篇论文 11 月 2 日由作者自投登上 Hugging Face 当日论文榜第 2 位,拿到 86 个赞。
双层循环:一层练,一层拆
R2Orch 的主角是一个 Director(编排器):它为每个任务从空白画布开始,一次一条原子编辑——加智能体、设提示词、指定模型路由、连接交接边——搭出一张智能体图,再交给冻结的 Worker 模型执行。训练由两层循环嵌套完成。
内层是自博弈。一个 Proposer 负责挑任务,训练目标叫 Recursive Learnability:奖励那些「撤掉候选技能后,rollout 仍然会打出不同结局」的任务,可学性用 l(p)=4p(1−p) 估计,p 是隐藏组的成功率。这一步直接对准了 GRPO 类分组强化学习的死穴——当一组 rollout 全对或全错,组内没有优势差,梯度归零,论文称之为 advantage collapse。
外层是技能撤除(Skill Withdrawal)。每个任务跑 G=5 张图:3 张隐藏组看不到候选技能,2 张可见组带着技能。因为隐藏是随机分配的,可见组减隐藏组的均值差就是技能净收益的无偏估计,这些对照累积成 Bayesian-bootstrap 后验,后验收益期望压到阈值以下就撤。论文报告 12 次撤除全部通过该判据,后验 E[Δ+] 至多 0.019。两层循环首尾相接:失败被蒸馏成新技能,技能被写进参数,撤除又把 Proposer 引向新的失败。
零技能上阵,12 项基准
实验配置:骨干是冻结的 Qwen3.5-9B,Director 和 Proposer 都是 rank-64 LoRA 适配器,单机 4 张 A100 64GB,训练 200 个周期,种子技能只有 18 张卡,训练池 6,154 个任务。论文自评表格里,R2Orch 以零技能状态在 12 项基准上全部超过基线:分布内平均分从 PATS 的 86.0 提到 89.8,分布外从 76.1 到 78.8;AIME 2026 从 74.0 到 81.3,MedQA 94.06、ALFWorld 90.63、WebShop 91.09,SWE-Bench Verified 42.81。消融显示两条循环缺一不可,固定脚手架(技能永不撤)在零技能测试里掉分最多;训练进行到一半时,零技能准确率就已经反超带技能状态。
迁移是真的,短板也在
不重训,这个 Director 直接换到另外 6 个 Worker 骨干上,每项基准都有提升,弱骨干提升最多——各骨干间的分布内成绩极差从 25.7 分收窄到 6.4 分,说明编排图补上的是规划与校验能力,而不是某个模型的私有能力。论文自己承认的局限也很直白:每个数据集的初始技能是手工定制的,新领域如何自动导出种子技能仍是开放问题;仓库刚开源(10 star),许可证为 research use,模型 R2Orch-9b 与数据集已发布。
技能库的终局,也许不是越攒越厚的提示词合集,而是像教辅一样——用完即弃,能力留下。当「撤走技能之后还顶用」成了训练目标本身,智能体才算真正把知识内化了。