10 月 5 日,华为 CANN 社区公开了一份技术文档:《基于昇腾 950 超节点的万亿 MoE 模型预训练系统参考实践》。据 93913、观察者网等多家媒体报道,其中在介绍 DeepSeek 预训练支持时,明确提到基于 PyTorch 原生训练框架分析 550B、1.6T 模型的切分策略,以及向 10T(十万亿)规模外推时的部署权衡——这是目前公开的 DeepSeek 相关训练技术材料中,模型规模明确触及 10 万亿参数量级的一次披露。
先把量级说清楚。DeepSeek-R1 的参数量是 6710 亿,10 万亿约是它的 15 倍;现役 DeepSeek-V4-Pro 总参数 1.6 万亿、激活 49B,V4-Flash 总参 284B、激活 13B;阿里当前旗舰 Qwen 3.8-Max 约 2.4 万亿。也就是说,10T 大约是国产已发布最大模型的四倍以上。
这份文档讲了什么
方案基于 PyTorch 原生训练框架和昇腾 950 超节点,结合 DeepSeek-V4-Flash 的训练验证,系统性回答"万亿参数 MoE 怎么训":
- 多层并行策略:CANN 在超节点内部及节点之间设计了 FSDP(完全分片数据并行)、EP(专家并行)、CP(上下文并行)等多种并行部署方案,并针对模型规模扩大后出现的显存、通信和计算效率问题做优化;
- 内存四件套:针对训练过程中的参数、梯度、优化器状态和激活值分别进行内存优化;
- 新组件:引入 FlexMuon 分布式优化器,以及大容量记忆表分布式训练方案,提升超大规模训练的效率与稳定性;
- 场景扩展:除模型规模外推外,还覆盖超长序列、多模态、高可用训练等场景。
硬件底座是昇腾 950 超节点:以单机柜 64 张 NPU 卡为基本单元,最大支持 8192 卡高速互联——这个规模的集群,通信延迟控制不好,训练效率会大打折扣,并行策略的价值正在这里。
和阿里路线图是一枚硬币的两面
9 月云栖大会上,阿里宣布 Qwen 下一代模型将扩展到 5-10 万亿参数(本站已报道)。这次 CANN 文档的看点在于:阿里那批新闻讲的是"要训多大",这份文档讲的是"怎么训"——切分策略、并行部署、通信与显存权衡,全是工程细节。
据网易报道转述,DeepSeek 创始人梁文锋此前表达过优先做好小激活参数模型、同时保留向更大规模外推能力的思路。两条路线并不矛盾:MoE 架构下,总参数决定能力上限,激活参数决定推理成本,10T 储备与高性价比小模型可以并行推进。
所以呢
10T 短期内不会是"明天发布的新模型",它更像能力天花板的探路工程。但这份文档传递的信号很明确:当模型规模从千亿走向十万亿,决定成败的不再是单点算力峰值,而是训练系统的并行策略、通信效率和内存管理——这些工程层面的"脏活累活",恰恰是最难复制的技术壁垒。国产算力栈能不能撑起下一代的模型规模,答案就藏在这类文档里。