训练长程 Agent 的强化学习配方,大多默认把信用摊到 token 级:每生成一个 token 就算一步动作,PPO 系沿着 token 流用 critic 估优势,GRPO 系干脆整条序列共享一个组相对优势。10 月 26 日挂上 arXiv 的论文 MPO(Multiscale Policy Optimization)先做了一件很多人跳过的事——测量,而测出来的数字直接动摇了 token 级信用的默认地位(arXiv:2610.35013)。

先测量,再设计

团队统计了一个搜索 Agent 训练过程里 8 个 checkpoint 批次的 2,048 条轨迹、16,323 个轮次:critic 值在轮内部相当稳定,大的跳变集中在轮与轮的边界。量化下来,轮均值之间的差异占 critic 值方差的 89.5%(中位数);93.8% 的轨迹里轮间方差大于轮内方差。这组数字的潜台词是:环境真正消费的决策单位是「一轮完整的助手输出」——搜索词、工具调用、最终回答——而不是单个 token。论文的 Figure 2 里,失败轨迹和成功轨迹呈现同样的形态。

两条旧路线的缝隙

论文把现有方法归成两族。GRPO、DAPO、GSPO 这类免 critic 的组相对方法,一条 rollout 只派生一个共享优势,分不清哪一轮、哪个 token 更该记功;PPO、VC-PPO、VAPO、SAO 这类 token 级 critic 方法优势估得细,但没有把「轮内生成」与「轮间交互」当成两个尺度。MPO 的立场是两个尺度都要:跨轮传播信用,轮内再做细分。

MPO 的三个部件

第一,多尺度优势估计 MAE:把整个轮次当宏动作,在轮轴上跑 GAE,信用每交互衰减一次而不是每 token 衰减一次,天然与轮长无关;轮内再用一条截断在本轮内的局部轨迹做修正并中心化——轮内均值被锁死在轮级估计上,β 控制局部修正强度。第二,轮级重要性采样:前向权重与裁剪都用整轮概率比,同时用 stop-gradient 让每个 token 保留自己的策略梯度。第三,critic 直接回归终止回报(λcritic=1,沿用 VAPO 的解耦 GAE)。消融给出的最佳组合是 (λ, λintra, β)=(0.80, 0.95, 1.00)。

成绩单:九项全绿

实验用 Qwen3-4B-Thinking 与 Qwen3-30B-A3B-Instruct,在搜索(BrowseComp-Plus、GAIA、HLE 文本子集)、工具使用(Claw-Eval)、自动化(Automation Bench)三类设置下与 GRPO、GSPO、PPO、VAPO、SAO 同预算对比。4B 上 MPO 的 BrowseComp-Plus pass@1 到 48.08,比最强基线 SAO 的 43.75 高 4.33 个百分点;GAIA 39.47(+3.85)、HLE 9.92(+0.66)。30B-A3B 上三项 pass@1 为 50.32 / 43.42 / 10.03,领先 3.59 / 3.80 / 0.12。Claw-Eval 的 pass3 提升 0.95 与 1.12 个百分点;Automation Bench 从 4B 基座的 0.00 拉到 13.33,30B 到 15.00。在论文自己的评测里,九项指标在两个尺寸上全部居首;采样放大后优势仍在,4B 的 pass@32 在 BrowseComp-Plus 冲到 75.90。两个消融最有说服力:把轮级重要性比换回 token 级,4B 搜索三基准 pass@1 分别掉 2.36、3.12、1.03;β=0 砍掉轮内细分,BrowseComp-Plus 掉 6.28,但仍高于 PPO。

该泼的冷水

成绩单是论文自测,暂无第三方复现;评测协议是每次训练选最佳 checkpoint、离线评估 5 次取均值,消融每个设置只跑一次。截至发稿,论文没有放出代码或模型,Hugging Face 论文页上没有任何模型、数据集或代码链接。社区评论区也有务实质疑:轮长悬殊时——40 token 的函数调用对 6,000 token 的文件读取——轮级比值的方差如何控制、裁剪是否需要按任务重调,论文没有正面回答。顺带一提,这篇论文在 Hugging Face Daily Papers 榜单上挂在 IQuest 名下,单日冲到第 2(315 票);同门实验室一周前刚开源过 CLI 智能体模型 IQuest-Q1,「先出模型、再出训练方法」的节奏值得盯。这条赛道也不孤独:8 月本站报道过的 AgentOPSD 用递归贝叶斯信念教 GRPO 判断哪个轮次决定胜负,与本文的 critic 结构测量是两条路径,但都指向「轮次级信用」这块新共识地带。

所以呢

对训练 Agent 的团队,这篇论文最值钱的可能不是 MPO 本身,而是那个 89.5%:如果你自己的 critic 也是轮内近乎恒定,那 token 级优势的精细感可能大半是噪声,信用分配的颗粒度值得重新审计。评论区已经有人提议把轮级 critic 值拿到推理期当廉价异常信号——单轮值突然偏离就触发重试或人工介入。代码放出来之前,建议把它放进观察名单,而不是直接接进训练管线。