在 ALFWorld 这类多轮家务环境里训练智能体,奖励是稀疏的 episode 级信号:可能要走十几步才拿回一个 0 或 1。论文作者举了个具体例子——同一个任务,策略采样出两条轨迹,一条 14 轮成功、1,663 个 response token,另一条 50 轮失败、6,446 个 token。按论文的算法,失败那条在展开后占掉了 78.1% 的结果人口和 79.5% 的目标质量。论文是《Outcome–Mass Alignment》(arXiv:2611.16816,https://arxiv.org/abs/2611.16816)。

一条轨迹在训练机里不是一个单位

多轮智能体的强化学习有两种把交互喂给优化器的做法。轨迹级优化(RAGEN)把整条交互拼成一条序列,上下文随轮数膨胀;分步优化把每一轮切成独立的 response 行,单行上下文可控,代价是同一条源轨迹被摊成数量不定的行和 token。GiGPO、HGPO 走的是后一条路线,论文盯的也是它。

分步展开带来两个层次完全不同的问题。第一个在结果统计层:同一个 episode 的结果被贴到它展开的每一行,按行做组内统计时这个结果被数了 n_i 次。论文给了个极简算例:一条成功轨迹(y=1,n=1)和一条失败轨迹(y=0,n=3),按轨迹算均值是 0.5,按行算变成 0.25——组内基线被失败轨迹的展开倍数拖低了。

第二个在目标质量层:token 平均的损失里,一条轨迹拿到的系数是 D_i 除以全组 D 的和(D_i 是它的有效 token 数),行平均则是 n_i 除以全组 n 的和。也就是说,一条失败的轨迹因为跑得更久,天然在梯度里占更大的位置。

OMA 只动两处

论文的方案叫 Outcome–Mass Alignment,两个组件可以单开也可以一起开。Outcome Alignment 把结果统计挪回唯一的源轨迹上算,再把算好的优势广播回它的行——行被复制多少次都不影响统计量。Mass Alignment 先在轨迹内部聚合 token 贡献,再让每条源轨迹拿到相等的外部质量(完整组里是 1/K),与它展开成多少行、多少 token 无关。

关键是 OMA 不碰优化器原生的东西:轨迹内的信用分配、importance ratio、clipping 全部原样保留。它只是把「一条轨迹该占多大影响力」从隐式变成显式。GRPO、GiGPO、GSPO 都能接。

涨在哪,以及在哪里失效

ALFWorld 上跑 GRPO 基线,底座是 Qwen2.5-1.5B/3B-Instruct,前 150 次更新、每组 8 条轨迹、batch 16、4 张卡、种子 0。OMA 把 1.5B 的成功率从 73.4% 提到 82.8%,3B 从 74.2% 提到 81.2%,摘要里的说法是同预算终点成功率提升 7.0 到 9.4 个百分点。

消融更能说明问题,两个组件不通用。3B 上基线 74.2%,只开 Outcome Alignment 反而掉到 61.7%,只开 Mass Alignment 是 77.3%,两个都开才是 81.2%;1.5B 上更极端,单独 OA 只有 38.3%,比基线 73.4% 差一大截,单独 MA 是 76.6%,OMA 82.8%。

边界出现在 WebShop。普通 WebShop 上 1.5B 终点成功率 65.6% 升到 70.3%、任务分 76.2% 升到 78.8%,但成功率 nAUC 从 39.1% 只走到 39.0%,任务分 nAUC 从 63.3% 掉到 57.9%;3B 直接反转,成功率 64.8% 掉到 57.0%,任务分 81.4% 掉到 71.4%。论文的解释是普通 WebShop 里「长轨迹」和「失败」的耦合弱甚至反向,这时候改记账方式就没收益。改造成成功导向的 WebShop-SOL 后耦合被拉回来,成功率 nAUC 从 39.9% 提到 51.1%,终点成功率 64.8% 提到 73.4%。

换优化器也成立:GiGPO 终点成功率 88.3% 到 89.8%、nAUC 63.1% 到 67.3%;GSPO 是 65.6% 到 70.3%、nAUC 42.8% 到 49.2%。

两个修正在往相反方向拉

论文用冻结批次的梯度审计看这件事:重算同一批轨迹在四种口径下的梯度。WebShop 那个近似对称的批次里,OA 和 MA 的余弦相似度是 0.996;ALFWorld 上展开越不对称,这个值掉到 -0.421、-0.506、-0.368,GiGPO 那行是 -0.667。负值意味着两个修正在往相反方向推,不是一个标量缩放。在失败与成功的 token 比达到 8.78 的那批上,OMA 把梯度范数比从 5.05 压到 1.60,接近原始口径。

另一支团队独立撞上同一个机制

「失败轨迹系统性更长」不是只有这篇在看。AsyncWebRL(arXiv:2606.05597,https://arxiv.org/abs/2606.05597)在视觉网页智能体的多步 GRPO 上独立诊断出:每条轨迹的 1/|τ_i| 归一化会压低失败 token 上的负梯度,策略于是持续产出啰嗦的输出结构,作者把 1/|τ_i| 换成常数 1/k 来切断这个耦合。OMA 把 AsyncWebRL 列为最接近的对比工作,同时指出两者外层加权策略不同:OMA 不偏好短轨迹,也不让质量随 H_i 缩放。

GiGPO(arXiv:2505.10978,https://arxiv.org/abs/2505.10978)是另一条路线,不改外层记账,而是造 anchor state 分组、在轨迹内部做细粒度信用分配,论文自报在 ALFWorld 和 WebShop 上分别比 GRPO 高出 12% 和 9% 以上。三条路线拼起来看,多轮 Agent 的 RL 正在从「只调优化器」转向「连外层记账一起调」。

论文自己划的边界

几个限制得一起记着。主实验只有一个种子、两个环境、Qwen2.5 的 1.5B 和 3B 两档。附录补的两种子实验里,ALFWorld-3B 平均终点成功率从 70.31% 提到 86.33%,但 WebShop-1.5B 的 nAUC 是往回走的(成功率 nAUC 从 30.29% 到 29.15%,任务分 nAUC 从 45.37% 到 43.89%),论文说这些是描述性数字,没有做显著性检验。对齐更新步数不等于对齐生成的 token 数和墙钟时间,不能拿它比效率。论文还交代 WebShop 与 WebShop-SOL 的对照同时改了模型档位和终止条件,不构成隔离的因果检验。

所以呢

这篇论文的价值不在那几个百分点,而在它把一个一直默认存在的记账动作拆开看:多轮 RL 里,一条轨迹在优化器眼里到底算几个样本,从来不是优化器定的,是训练管线的展开方式顺手定的。展开方式一变,失败轨迹的权重就跟着变,而失败轨迹通常是最长的那批。

所以下次看到某个多轮智能体训练配方报出漂亮曲线,值得多问一句:它按行算还是按轨迹算组内结果?它的外部质量是按 token 摊的还是按轨迹摊的?这两个问题的答案,可能比再多调几个超参更影响结果。