RLVR(可验证奖励的强化学习)已经是推理与智能体任务后训练的标准配置,但它的信息瓶颈很少有人算账:同一道题的一组rollout只要全对或全错,组内奖励零方差,梯度直接归零。论文里有个真实切片:某轮数学训练的2560道题中,575道全错、156道全对,合计28.6%的题目在这个block里没有产生任何学习信号。学生明明做了、错了、错在哪写得清清楚楚,训练算法却只收到一个0。

明尼苏达大学双城分校与摩根大通AI Research的团队决定把这部分被扔掉的经验捡回来,做成了AutoScaffold。

教师模型怎么搭脚手架

思路借自教育学的scaffolding——Wood 1976与Vygotsky 1978那套「临时的、跟着学习者水平走、能力上来就撤」的支持。训练全程由一个冻结的GPT-5.5担任教师:每10步介入一次,最多发15次查询,去翻训练日志里的统计量、原始轨迹、同一任务的整组尝试和它自己过去的决策;诊断出学生卡在哪之后,写两级脚手架——给整类任务共享的策略(按概率注入,上限0.5),和给个别难题的提示(数学场景就是参考解的前缀,比例上限50%)。修改先在留出任务上验证,赢了现行脚手架才准上线;评测时所有脚手架一律撤除,分数全部算学生自己的。

机制上,二值奖励下混合结果的组才有学习信号:u(p)=1-(1-p)^G-p^G,全对与全错都是零。这种整组全错、奖励永远为0的难题,论文里有个名字:learning cliff,学习悬崖。脚手架的职责就是把「全错的组」推成「有对有错的组」——太弱推不动,太强全组躺赢,又归零,AutoScaffold做的事,本质上就是在崖壁上递绳子。

四个域的成绩单

  • ALFWorld(具身家庭任务,Qwen2.5-1.5B + GiGPO):成功率93.9%,比基线高7.2点,还压过用7B模型的SkillRL(89.9%)与SkillC(90.6%);
  • 搜索问答(Qwen2.5-3B + GiGPO):平均精确匹配46.1,比基线高4.0;
  • 数学(Qwen3-4B,GRPO设定):平均70.1,比GRPO高1.4,与手工设计提示层级的SAGE(70.0)打平;
  • 数学另一档(Nemotron-1.5B,QuestA设定):62.4,比QuestA高1.3,但只用350步,QuestA要1100步,约三分之一;
  • KernelBench(Qwen3-8B,StitchCUDA设定):Level 1正确率59%升到63%,Level 2从50%到54%,「正确且快过PyTorch参考实现」的占比从20%提到25%。

细节比总分有意思

消融部分最扎眼的两刀:去掉留出验证,ALFWorld掉14.1点;直接搬Skill0已发表的技能库当固定脚手架,比AutoScaffold低15.3点,甚至比RL基线还低8.1——指导不是越多越好,与学生当前能力错位的指导是负资产。

论文还贴了第10轮数学训练的真实诊断记录:教师看到575道全错题里大部分已挂在最高提示档,于是把低档的全错题往上推——此前把25档提到45或50的题,再遇到时约55%到60%不再全错;它想新加的两条班级级笔记被框架拦下,因为同时挂着的8条已是上限。对比更妙:QuestA的前缀比例是手工日程,50%一刀切降到25%;AutoScaffold的均值峰值只有33.7%,之后逐题撤退——降到0的题从130道涨到303道,「毕业」的从46道涨到90道。留出集上的无提示pass@1从28.8%升到38.3%,说明学生没有学成提示依赖。账单也便宜:教师API全程2.35到5.57美元,验证rollout用训练自己的4-8张H200,每次更新合计约15到26分钟;所有成绩均为无脚手架评测、3个种子平均。

所以呢

这篇把自己定位成AI-for-AI:不动RL算法、不改模型结构、不加训练数据,只把「读经验、开处方」从人类研究员手里交给一个冻结的强模型,四个域全部正收益。比数字更值得注意的是它的隐性判断:RLVR时代的瓶颈正在从奖励设计转向训练经验的利用率——奖励只告诉你对不对,教师能告诉你为什么错。当教师模型几美元就能租一个,「谁来读训练日志」大概是下一个被自动化的岗位。