百度这次的 ERNIE 5.5 Flash Base 走了一条挺特别的路:把预训练权重放出来,对话版和工具调用版本留在自己手里。11 月 5 日发布的这份 checkpoint 是 2800 亿总参数、每 token 只激活 140 亿的稀疏 MoE,以 FP8 和 BF16 两种精度挂在 Hugging Face 上,但整个权重停在预训练结束的那一刻,没有经过任何中训练或后训练。百度官方发布页

先弄清这个模型能做什么

这是一份基座模型,不是能直接对话的助手。百度在发布页写得很直白:权重是预训练结束时的 checkpoint,开发者可以自己决定往哪个方向继续训。后训练版本 ERNIE 5.5 Flash"会随后到来",但没有给日期。模型卡上写的是通过 completions 接口提供服务,也就是你发一段文本,它续写,没有对话模板这一层。

The Decoder 把这次发布描述成"刻意不做微调和后训练",MarkTechPost 也把"自评"两个字挂在成绩单旁边。eesel 的分析更直接:想拿它做客服智能体的团队,该等的是后训练版本。这三个判断指向同一件事——百度这次卖的不是"更强的模型",而是一个"干净的起点"。

真正被反复打磨的是 KV 缓存

43 层 Transformer,hidden size 4096,64 个注意力头。里面 37 层用的是 HCA(Heavily Compressed Attention):每 128 个 token 压成一个缓存条目,再加一段近期未压缩的短窗口;剩下 6 层用 MLA 保留 token 级的完整上下文视野,并且叠加 DSA 稀疏注意力——一个轻量索引器给历史位置打分,核心注意力只在 top-k 上计算,单个 query 的成本不随上下文增长。

百度给出的取舍理由很直白:在相近的 KV 缓存预算下,他们试过用大量 CSA 层,最后选了少量 MLA 层,因为 HCA 加 MLA 的组合在预训练上打赢了 HCA 加 CSA。层内头维度也按成本分配:压缩比 128 倍的 HCA 层用 512 维宽头,昂贵的 MLA 层用 256 维窄头。省下来的空间直接换成 100 万 token 的上下文支持。

路由、输出头和投机解码都被改了

MoE 部分不是单路由器,而是多个独立初始化的 sigmoid 路由器联合给专家打分。百度给的动机很实在:单路由器的打分和专家实际有用程度只弱相关,而落选专家收不到梯度,错误选择会自我强化。改成多路由之后,路由分数与专家有用性的相关性明显提升,中后层收益最大,激活专家数、FLOPs 和通信量都没变。每层 512 个路由专家取 top-10,外加 1 个共享专家,专家在 2048 维潜空间里计算,派发流量和专家 FLOPs 大约减半。

还有两处值得单独提:一是 mHC 把标准残差连接换成 4 条并行残差流;二是 ECHO 取代了常见的 MTP 模块,它复用主干最后一层去预测未来 token,没有额外模块,同一层还兼任投机解码的草稿模型,虽然训练时只预测一个额外 token,实际却能向前草拟好几个 token。

跑分:自己打的表,自己有解释权

评测对照的是 DeepSeek-V4-Flash-Base、Hy3-preview-Base 和 MiMo-V2.5-Base,四个模型用同一套 harness、prompt、few-shot 和 LLM judge。按表内加粗统计,ERNIE 5.5 Flash Base 在 30 项基准里有 24 项拿到最高分,MarkTechPost 也给出同样的 24 比 30,并注明这是百度统一流水线下的自评结果。逐项对比 DeepSeek-V4-Flash-Base,则是 26 项占优。

短板同样清楚:中文事实问答 ChineseSimpleQA 上 73.0 对 DeepSeek 的 75.3,长文本重排 HELMET-Rerank 上 56.2 对 60.0,InfiniteBench 46.5 对 48.0。三项都是差一点的量级,更像同代模型的贴身缠斗,而不是代差。而且百度对齐的是较老的 V4 Flash 基座,不是更新的 DeepSeek V4.1 Flash,目前也还没有第三方实验室复现这批数字。

最该读的是许可证

权重确实免费可下,但 ERNIE 5.5 Flash Base Model License Agreement v1.0 的边界比"开源"两个字通常暗示的窄得多。授权地域被定义为"除欧盟、英国和韩国以外的所有地理区域",第 5.3 条进一步规定材料不得在授权区域外使用、复制、分发或展示,输出也在内。

商用门槛分两档:相关产品年营收 5000 万美元及以下可免费商用,需要署名"Powered by ERNIE"并向百度发一次使用通知;超过 5000 万美元则必须事先拿到单独书面商业授权,一旦营收越线,还没授权的商业用途得先停下来等授权生效。百度还可要求运营方提供书面合规声明,通常每个日历年至多一次。第 5.5 条另有一道锁:不许拿这个模型去改进别的 AI 模型。

所以呢

模型侧是实打实的工程密度,长上下文、稀疏 MoE、投机解码草稿模型都塞进了这具 2800 亿参数的骨架里,在百度自选的三个同档对照模型面前几乎全面领先;但分发侧给的是一个带地域排除和营收门槛的半开放。对做开源生态的团队,这个基座干净、单一 checkpoint、方便横向对比不同训练方法;对想把服务直接铺到欧洲的团队,这张许可证在工程启动之前就得先解决法律问题。

真正的看点可能不在这个基座,而在它后面那个还没发的对话版:官方说后训练版本会跟上,到那时,这份基座加上 post-training,才是百度在 ERNIE 5.5 这条线上真正的答案。