开源权重阵营多了一个新名字。Reflection 团队放出 Beam 技术报告(https://arxiv.org/abs/2611.26358),这是他们自称的第一款开源权重模型:501.3B 总参数,23.4B 激活的稀疏 MoE,52 层,256 个专家,152K 词表,在 23.8T token 上预训练,主攻代码,推理与智能体三类负载。这份报告最有信息量的不是跑分表,而是它把 RL 训练的算力账本整个摊开了。
预训练:21.9 天,6,144 张 GB300
预训练用 6,144 张 NVIDIA GB300 跑了 21.9 天,稳定期 MFU 21%。更有意思的是 goodput(扣除故障重启后真正保留的训练进度):全程 77.0%,修完稳定性问题后的最后 20% 步数升到 92.3%——大集群训练的真实利用率,比 MFU 更值得看。路线是老派的可预测缩放:先在 300M 到 6B 的阶梯配置上验证,再落到 23.4B 激活的目标档,论文自称验证损失在四个数量级的算力上可预测,在可比开源 base 模型里达到 Pareto 最优。架构取 DeepSeek MoE 式的 auxiliary-loss-free 负载均衡,配 RMSNorm 与 SwiGLU 专家。上下文靠两段式 midtraining 扩到 1M token:32K 段 69 小时,512K 段 24.8 小时,数据全部 correctness-anchored(答案可校验),论文称没有牺牲通用能力。
后训练:两个老师,一个学生
Beam 把「会做事」和「守规矩」拆成两个专家分开练:agentic expert 走 SFT 加 RL,任务覆盖软件工程,终端操作,数学,竞赛编程,联网搜索与专业工具;alignment teacher 专攻安全,校准与对话质量。然后用 multi-teacher on-policy distillation(MOPD)把两个老师的全词表分布蒸馏进同一个学生。论文还专门命名了一种合并失败模式 split-braining:检查学生会不会按提示分布各听各的老师,而不是真正融合两家能力。基建数字更值得记:高算力 RL 配置容量到 1,920 张训练 GPU 加 8,576 张推理 GPU,推理与训练 GPU 之比在 3.9:1 到 5.4:1 之间浮动;整个 campaign 动用约 10.5K 张 GB300(含 derisking 与 MOPD)超过一亿次 rollout,论文自称是开源实验室做过的最大规模 RL 训练之一。沙箱机群横跨 20 多个集群,两朵云,四个区域——智能体 RL 的环境供给本身就是基建。
RL 里的两个真观察
一是跨域迁移:BrowseComp 从训练进度 27% 处的 50.1 涨到 83% 处的 57.9,而这一阶段任务列表里没有任何搜索或浏览任务。二是长度效率是练出来的:奖励里放了可控长度惩罚,解题成功给奖励,超出 effort 预算的输出 token 扣分;对 reward hacking 的处置是把正确性得分归零但保留长度成本——作弊不省钱。论文自陈在整个评测套件上继续加 RL 算力没有平台期迹象。
成绩单与效率
按论文自报口径:Terminal-Bench v2.1 80.1,同一张表里 Kimi K3 是 88.3,Qwen 3.8 Max 86.6,GLM 5.2 81.0;SWE-Bench Pro v1 66.1,SWE-bench Verified 81.6,AIME 2026 97.7,HLE(无工具)36.0(Kimi K3 46.9)。对照模型按各自推荐采样设置与推理档开满跑,单次调用最多 65,536 token 输出,统一 256K 上下文窗口。服务侧主打省钱:FP8/NVFP4 量化加 1.93B 参数的投机解码 drafter DFlash 2,解码吞吐提升 1.9 到 3.0 倍;BF16 下 4 张卡装完权重后 KV cache 只够 213K token,量化后 4 卡能跑满 1M 上下文。安全评测 Iris 套件:有害请求拒绝或转向 88.9%,无害请求服从 81.5%,论文自称是 Pareto 前沿上开源权重模型里的最高拒绝率;OSF 框架下四类系统性风险全评为 Limited。
该泼的冷水
所有数字来自这份未经同行评审的自报技术报告,没有任何第三方复现;论文自己也承认,论原始能力,Kimi K3 等前沿开源模型仍然在前,Beam 的卖点是推理时的 token 效率与 3-4 倍推理算力节省;「开源实验室最大 RL run」和「最高拒绝率」都是自家口径;报告里也没有给出可核验的权重下载链接,开源状态目前只能按自家声明采信。
真正值得记的是 8,576 对 1,920 这个比例:RL 时代的算力大头,已经从梯度更新搬到了 rollout 推理。开源竞争的门槛,正在从谁的 base 模型强,变成谁的 RL 工厂大。下次看到新开源模型,不妨先问一句:你的 RL,几张卡在跑推理?