字节跳动用 10 万亿参数下注:规模赛跑与张一鸣的「不蒸馏」表态
8 月 7 日,《金融时报》报道字节跳动正在训练一款参数量约 10 万亿的大模型,目前仍处于预训练阶段。预训练通常需要 3 到 6 个月,之后才会进入微调与正式发布——也就是说这颗"超大模型"距离面世还有相当一段路要走(联合早报/金融时报转载)。
报道披露了几个关键数字:凭借 10 万亿参数量,字节这款模型体量将是中国 AI 新锐月之暗面旗下 Kimi K3(拥有 2.8 万亿参数)的三倍有余;在此之前,美团的 LongCat-2.0 与 DeepSeek 的 V4-Pro 曾以 1.6 万亿的参数量领跑中国本土 AI 行业;阿里最新发布的 Qwen3.8-Max 约 2.4 万亿参数(21财经/金融界)。按行业估算,Anthropic 最先进的 Mythos 5 参数量约为 8 万亿,Fable 5 约为 5 万亿,这些数字均为行业估算,并非 Anthropic 公开披露(FourWeekMBA)。
「10 万亿」意味着什么:MoE 时代的参数游戏
需要先拆解一个误解:报道中所有这些数字都是总参数,而非"激活参数"。在现代前沿模型稀疏 MoE(混合专家)架构下,10 万亿总参数意味着绝大多数权重在任意一次 token 前向上是"睡着"的。总参数更像一张声明——"我买得起这份算力、堆得起这份数据",而不是"我用得上这份能力"。
把这个视角放回国内市场:DeepSeek V4 系列、阿里 Qwen3.8-Max、月之暗面 Kimi K3 走的都是稀疏 MoE + 极致训练效率路线——用尽量小的激活参数量去逼近前沿;字节跳动这次则选择了另一端:在规模上直接堆到 10 万亿。两种打法的成本结构截然不同,前者押注"单位推理成本下的能力密度",后者押注"绝对能力上限"。
张一鸣前一天的内部表态:拒绝把蒸馏当捷径
巧合的是,8 月 6 日《澎湃新闻》已经披露字节跳动创始人张一鸣在 7 月 Seed 团队全员大会上的罕见表态:"字节跳动不会把蒸馏当作提升 AI 模型能力的捷径,即便这意味着公司眼下落后于国内竞争对手"(联合早报转载)。
张一鸣说"做模型要坚持长期主义、延迟满足感,而不是用别人的输出换一时的榜单排名"。报道还指出,字节跳动内部对开源模型严禁蒸馏,甚至通过 API 检测等方式在内部加强相关限制——因为张一鸣认为蒸馏会"干扰真正意义上的长期技术突破"。
把这两条新闻摆在一起读,10 万亿参数的赌注就有了更清晰的注脚:字节跳动选择不抄近道,于是必须砸远路。在 DeepSeek 把开源能力天花板一次次抬高、月之暗面用 Kimi K3 拿下 57 分 Artificial Analysis Intelligence Index 的压力下,字节跳动没有走蒸馏这条性价比最高的能力迁移路径,转而选择"用绝对规模换代差"——这条路更贵、更慢,但更难被复制。
路线之争:中国 AI 第一次同时跑两个方向
更深一层看,10 万亿参数这件事真正值得关注的,不是"中国能不能追上美国前沿",而是"中国内部同时跑出了两条互斥路线"。
一条是 DeepSeek 主张的"小而省"——V4 Flash 用 284B 总参数/13B 激活参数的 MoE,在 Artificial Analysis Intelligence Index 拿到 50 分,混合价格约 0.06 美元/百万 token,把 GPT-5.6 Luna 拉下约 65% 单任务成本。另一条是字节跳动主张的"大而猛"——把总参数堆到 Mythos 5 同档(甚至按估算略高),用算力密度换能力上限。
两条路线的成本曲线、目标客户、商业模型都不一样。在 DeepSeek 用开源权重持续给 API 价格施压的环境里,字节跳动押注的是另一类客户:愿意为"绝对能力上限"付溢价的 Agent、复杂推理、企业级 RAG 场景。这也是为什么张一鸣那句"愿意为长期目标牺牲一部分短期收益"必须配上 10 万亿参数才听得懂——没有这个规模的算力承诺,那句表态就只是漂亮话。
算力主权视角:出口管制可能正在失效
另一个无法回避的视角是算力。10 万亿参数的总规模在预训练阶段的算力消耗,已经逼近美国出口管制原本试图限制的能力区间。FourWeekMBA 注意到这一点:如果字节跳动真的在用 10 万亿总参数做 MoE 预训练,那意味着中国实验室已经在某种程度上绕开了对高端 NVIDIA 加速器的依赖——无论是控制收紧前的存量芯片、华为昇腾等国产替代、还是训练效率提升带来的对冲。
但这里必须加几个保留:字节跳动未公开证实 10 万亿这个数字,《金融时报》的来源也只是"知情人士";Mythos 5 与 Fable 5 的参数是行业估算,并非官方披露;模型最终是否会发布、是否仍是 MoE 架构、激活参数多少,都还是未知数。10 万亿这个数字今天的最大价值,是它对资本、监管、竞争对手发出的信号——而不是对用户发出的能力承诺。
所以呢
对中国 AI 行业来说,下半年要回答的问题已经从"哪家模型最强"变成了"规模与效率哪条路线能跑出商业模型"。DeepSeek 路线用开源权重在压价格下限,字节跳动路线用绝对规模在顶能力上限。10 万亿参数是否最终跑通还是其次——它证明的是中国头部公司愿意为前沿算力持续买单,这件事本身就把全球 AI 竞争的格局往前推了一步。对从业者来说,比关心"什么时候能调到这颗模型"更值得想清楚的是:当模型层的差异化不再来自参数大小而是来自训练方法、后训练配方、推理成本控制时,自己的产品壁垒到底在哪里。