上周,德国 KI Bundesverband 联合 Fraunhofer、DFKI、TU Darmstadt 等机构正式开源 Soofi S 30B-A3B。这不是又一份"完全开源大模型"通稿,它用一份 25.3 万 GPU-小时的预训练报告,把欧洲主权 AI 的口径拉到工程层。 模型是 31.6B 参数的稀疏 MoE,每 token 只激活 3.2B——推理成本更接近 3B 而非传统 30B。架构复用 NVIDIA Nemotron 3 Nano 的混合方案:Mamba-2 与 attention 层交错堆叠,52 层里只有 6 层维护 KV Cache。结果:40K 上下文、32 并发下每秒/张 GPU 生成 token 数约是同规模 dense 模型的 8 倍,4K 到 256K 上下文吞吐近一条直线。 数据配比是这次的关键动作。27T token 训练里,德文占比从第一阶段的 7.2% 拉到第二阶段的 15.3%,远高于 Nemotron 原始配方 5% 的非英语总量。HumanEval 73.8、MBPP-DE 84.2、INCLUDE-DE 61.2,在八项德英语综合基准同时拿下完全开源榜首,把 Apertus 70B、OLMo 3 32B、Alia 40B、EuroLLM 22B 一并压在身后。 训练全程在慕尼黑 Deutsche Telekom 的 Industrial AI Cloud 上完成:512 张 B200、运河水冷却、本地可再生能源供电、废热送进 Tucherpark 取暖。研究者开源权重、训练与评测代码、完整 data card,正式对接 OSI 1.0 开源 AI 定义。 我的看法:主权 AI 真正卡脖子的是数据 + 算力 + 许可三件套。Soofi S 用"重德文数据 + 端到端可重建训练集 + 算力留欧洲"同时交卷,这种"完整透明度"样本比单跑分更有借鉴意义。不过 MoE 的事实召回仍是短板——RULER 检索任务在 32K 以上掉到 3%,长文档找具体词还得靠 dense 模型兜底。