蚂蚁百灵 Ring-Zero 把零强化学习推到万亿级：1T 参数自发涌现出「自我验证」「平行推理」

蚂蚁百灵 InclusionAI 联合 Wayne Xin Zhao 团队 7 月 14 日发布 Ring-Zero 论文,把 zero RL(零强化学习)训练首次推到 1T 参数规模,产物 Ring-2.5-1T-Zero 在七项数学基准上取得有竞争力表现,checkpoint 同步开源到 Hugging Face。zero RL 不依赖人类标注,只用可验证奖励在冷启动模型上直接激发链式思考。过往该路线受算力约束,实验多停在 7B 到 32B 区间;Ring-Zero 通过 clipped importance sampling、训练-推理比值校正、混合精度控制等系统工程把规模推到 1T。论文最有价值的部分不是「能做」,而是「做出来什么样」。作者给出三点:1T 规模显著提升样本效率与性能上限;训练分「发现」与「锐化」两阶段;模型自发涌现拟人化表达、结构化排版、自验证、平行推理、context anxiety 等高级认知行为,让手工设计的奖励启发式变得冗余。针对 CoT 质量,作者提出「可读性、可复现性、效率」三维框架,比单纯比对最终答案更贴近工业部署。这是继 DeepSeek R1 之后「后训练即产品力」叙事的又一次大型验证,1T 级 zero RL 的可行性被打开,后续 MoE、长上下文、推理成本控制等组合拳值得继续观察。