RL 大模型训练的成本大头,不在梯度更新,而在 rollout:模型要自己生成大量长推理轨迹,再拿可验证奖励去打分。生成量一上来,显存和带宽就被 KV 缓存吃掉——而异步 rollout 架构把这个问题放大了。
异步 rollout 的隐藏瓶颈:KV 集中
KAIST 团队(作者 Sihwan Park、Sung-Yub Kim、Doohyuk Jang、Eunho Yang)在 10 月 10 日提交到 arXiv 的论文里给这个现象起了名字:KV concentration(KV 集中)。异步 rollout 靠持续并发填满 GPU、减少长尾生成时的空转;但并发一高,上下文处理被压进更少的解码步,每一步要搬运的 KV 工作量随之膨胀。团队在匹配负载的对照实验里还发现:这种场景下,KV 缓存量化带来的加速远大于只量化权重或权重+激活的方案——瓶颈确实在 KV,不在权重。
最激进的 INT4 KV 量化当然最快,但论文实测它会伤学习稳定性,即便配上 token 级截断重要性采样(TIS)也救不回来:采样分布被压歪,训练信号就跟着歪。
INT4 打底,给关键位置上 INT8 保险
KV4-RL 的解法是分层保护:主体上下文用免校准的 INT4 KV 量化存储,论文正文描述为分页 INT4 格式;只给两类关键位置保留 INT8 侧缓存——attention sink(注意力锚点)和近期上下文,并用更高精度的概率值算术处理这些位置。受保护的位置数有上界,既把采样分布的失真压回去,又保住了 INT4 的大部分加速。
1.8 倍加速,精度差不到 0.5 个百分点
数字全部来自 Qwen3-8B-Base 的 400 轮 GRPO 训练:rollout 累计提速 1.80 倍,整轮迭代(含训练)提速 1.27 倍,最后 50 轮的 rollout 提速冲到 1.97 倍。精度侧,在同一个 BF16 评测器下,Qwen3-4B-Base 和 Qwen3-8B-Base 两个规格的六基准平均精度,与全 BF16 rollout 训练的差距都在 0.5 个百分点以内。论文 32 页、15 张图、6 张表,CC-BY 4.0 许可,HF papers 页面已挂出一个配套 Space,社区热度还在爬升。
推理侧卷了很久,训练侧刚开场
过去一个月这个赛道并不冷清——把 KV 缓存当神经网络训练、逐层调压缩率、把 KV 挪出显存、熵编码压到 2 bit 级,本站都陆续覆盖过,但清一色是推理侧(serving)的故事。KV4-RL 换了条轴:RL 训练的 rollout 阶段本身就是"生成即服务",异步调度让 KV 的成本结构完全不同,而这类训练侧 KV 工程此前几乎没有系统研究,论文的匹配负载对照(KV 量化 vs 权重量化 vs 权重+激活量化)填的正是这个空档。
对正在跑 RLVR 的团队,这是笔能直接算的账:rollout 占整轮时间的比例越高,1.8 倍的 rollout 加速折算到端到端就越可观;而"几乎不丢精度"意味着不用动训练配方就能直接上。当 RL 后训练成为大模型的标配流水线,rollout 侧的显存与带宽工程,大概率是下一个被卷起来的角落。
参考:arXiv:2610.14448(https://arxiv.org/abs/2610.14448)· HF papers(https://huggingface.co/papers/2610.14448)