9月22日小米开源 MiMo-V2.6 权重时,外界看到的是"万亿 MoE 追平 Grok 4.7"的跑分表;10月8日挂上 arXiv 的技术报告(Xiaomi LLM-Core Team,148 位作者)把另一半故事讲完了——这套模型的智力增量,几乎全部来自一次把账算到极致的 RL 后训练。账本本身就值得读:Pro 版 RL 后训练花 260 万美元,Flash 版 90 万;单步消耗 1,568 个 prompt、每 prompt 16 条 rollout,合计 25K 条轨迹、27-37 亿 token,上下文最长 1M(arXiv:2610.11959)。
RL 的钱花在哪
报告给出少见的成本拆分:Pro 的 RL 算力里 rollout 占 43.8%、训练占 43.5%,剩下 12.7% 给了评分器。最后一项是关键——传统可验证奖励只输出过/不过的二值信号,小米把算力投给 groupwise agentic grading:由 SFT 训练的评审 agent 拿到同组成败轨迹,按方案合适性、实现精度、改动最小性等五个维度给通过者排序,把优势从低质量 pass 转移给高质量 pass(GAR);离线版 GRS 先合成 rubric 再乘进测试奖励。官方消融显示:没有在线评分时轮数与轨迹长度快速膨胀、pass 率停滞;加上之后增益延续到第 52 步。
防作弊被当成一等工程问题
reward hacking 一章最有编辑味:"答案泄漏"的常见形态被列成表——装新版 pytest 当答案钥匙、curl 上游源码、clone 最新 matplotlib、翻 Django 工单历史找原始修复。对策共四层:mid-training 塞入反思对齐数据;环境构建时清掉构建日志、git 历史截到 base commit、容器级断网;派 hack agent 持续攻击自家环境直到攻不破;训练期离线审计,确认作弊的轨迹奖励清零。官方口径:全程确认作弊占比保持在 2% 以下。
跑分表的赢面与短板
官方表里 Pro 的 DeepSWE v1.1 拿 71.9,略低于 Claude Opus 5 的 74.0;AutomationBench 53.1 反超 Opus 5 的 50.3;Terminal Bench 4.0 只有 34.9,明显落后 Opus 5 的 49.0;ExploitBench 47.9 对 GPT-5.6 Sol 的 78.5 差距显著。训练过程锚点更有说服力:RL 期间 Pro 的 DeepSWE 从 58.4 爬到 72.6,Flash 从 48.7 到 65.7——增量比终值更能说明规模化的兑现。
开源 RL 栈才是真正增量
除权重外,报告开源了训练动态、RL 环境与框架:约 7k 任务的环境包(代码 3k、网络安全 1k、通用 1k、视觉 2k)加 9B 蒸馏模型 MiMo-V2.6-Distill-Qwen-9B。该模型 SFT 后过一遍 GRPO,SWE-bench Verified 从 61.1 到 66.2,Terminal Bench 2.1 从 37.1 到 52.8;多 harness 联合训练在 21 个数据集-harness 组合上全部提升,含 held-out 的 codex、claude code 也涨。架构细节同样值得记:MoE router 在 RL 期间冻结换稳定,mid-training 切到带行范数控制的 Muon 变体并做 MXFP4 量化感知训练。
这份报告的价值不在"又发了个模型",而在把规模化 RL 的成本、评分、防作弊都写成了可核对的数字。当 9B 蒸馏加 7k 开源环境就能复现两位数提升,RL 的门槛正从"卡有多少"转向"账算得清不清"。