一次 PPO 更新到底有多重?策略模型先自回归地生成回复,奖励、参考、价值三个模型再逐一评估,最后反向传播更新——论文给出拆解:一步 RL 包含 6 次模型调用、涉及 4 个模型(可训练的 actor 和 critic,加上冻结的 reward 和 reference)。前沿规模的模型动辄消耗数百万 GPU 小时,论文还引用了更极端的数字:agentic 负载的 token 用量可以达到普通对话的 4 到 15 倍。从 DeepSeek-R1、GPT-5 Thinking 到 Kimi K2.5 Thinking、Grok 4.7,推理模型的 RL 后训练早已是分布式系统问题,而不是单模型问题。
真正的麻烦在于三段计算的画像完全不同:生成阶段自回归、延迟敏感;评估阶段吞吐导向;训练阶段背着反向传播和优化器状态。数据、张量、流水线、上下文、序列、专家六种并行策略,再叠加设备放置、参数新鲜度、显存布局,彼此高度耦合——论文的原话是,优化其中一处,可能让别处的通信、resharding 或显存压力变得更糟。现有系统各管一段:ReaL 和 verl 管放置与并行策略选择,RLHFuse 管算子融合,AReaL、Laminar、StaleFlow 管 rollout 与训练解耦,RLinf 做工作流编译。按论文自己的系统对比表,此前没有一个系统把流水线结构和执行计划放进同一个搜索空间。
把流水线变成一张图
RPEG 的核心动作,是把整条 RL 后训练流水线表达成一种图中间表示:哪些是结构变量(有界异步的 staleness 预算 τ、actor-critic 是否共享权重),哪些是执行变量(设备放置、DP/PP/TP 三维并行、microbatch 切分、stage fusion),全部写进同一个配置,交给优化器联合搜索。流水线本身从"工程师拍板的固定图"变成了优化变量。
图上还配了一套解析性能模型:计算、通信、显存一起建模,通信成本区分节点内、机架内、跨机架三层;模型参数用 NCCL 微基准实测校准,而不是抄厂商标称峰值。目标函数也不只看吞吐,而是吞吐×利用率:在解析模型评估里,利用率导向的计划愿意用 1-3% 的吞吐,换最多 25 个百分点的调度资源利用率。配套的分布式 runtime 负责忠实执行选中的图并校验参数版本,支持 PPO(带或不带 AC 共享)、DPO、GRPO,代码已开源。
实测数字
- A100 集群(AGH Cyfronet 的 Athena,每节点 8 张 40GB)上对比 ReaL,模型从 7B 到 70B:13 组可同跑的配置里 11 组更快、2 组相当,吞吐提升 1.4-2 倍,有效 GPU 利用率最多提升 30%;32B/16 卡那一组,ReaL 找不到可行方案,RPEG 能跑。
- GH200 集群(CSCS 的 Clariden,最大 256 卡)上对比 verl,用 Llama 3.1 8B 和 Llama 3.3 70B、actor/critic 分离:单步加速 1.024-2.477 倍,中位数 1.488 倍——最好的情形下,单步延迟只剩原来的四成。
- 为了排除跨框架实现的干扰,作者让优化方案和基线跑在同一个 runtime 上:7 组 Llama 3.1 8B 基线、20 组对照全部提速,幅度 1.250-1.471 倍(平均 1.365),图执行时间缩短 20-32%。
- 消融实验(200 组):关掉有界异步,平均性能掉 16.1%;关掉生成-推理重叠,掉 9.2%;关掉 microbatch 调优,掉 4.3%。收益主要来自执行选择本身,而不是某个搜索技巧。
- 精度不受损:τ=1 异步执行的最终 rollout 平均奖励,与同步 verl 基线的相对差距在 0.47% 以内。
- 搜索开销可控:即使 2048 卡,300 秒内就能找到距 1 小时搜索结果 5% 以内的方案;按 70B、64 节点实测 23.7 秒/步的速率,把 300 秒搜索摊到 1000 次更新上,开销约 1.3%。
- 解析模型本身经 123 组配置验证:执行时间预测的平均绝对百分比误差 15.5%,95.4% 的配置对能排对相对快慢;显存预测误差 15.1%。
所以呢
这篇论文把 RL 基础设施的竞争从"谁功能多"推向"谁能联合优化"。τ 取多少、AC 是否共享,这些过去靠工程师直觉拍板的决定,现在进了搜索空间;verl 和 ReaL 的用户也拿到一份直接可用的路线图——不换模型、不换算法,纯调度层就有 20-32% 量级的提速空间。
两点保留:解析模型 15% 量级的 MAPE 当搜索信号够用,当精确预测偏松;"调度利用率"是资源占用率,不等于 GPU 算术利用率,论文自己也注明了。但方向是清楚的,论文结尾的判断值得记住:RLM 训练已经不是单模型扩展问题,而是异构、多模型、异步的流水线优化问题。谁先把这件事编译器化,谁就攥住下一轮模型竞赛的成本杠杆。
论文:arXiv 2611.09207;代码:spcl/RPEG。