小模型变强的主流打法是「多读」:几十亿参数的模型动辄读十几万亿 token。但高质量英语文本就那么多,预算越大,越是在把同一批数据读了又读,收益递减。Translated 公司的 Lara 团队反着算了一笔账:与其把英语读到第 N 遍,不如把预算花在读得最少的数据——其他语言的文本上。

行业底色:非英语数据占比不足 12%

论文先盘了开源基座模型的家底:在他们综述的开源模型里,非英语预训练数据占比最高也只有 12%。专做欧洲语言的模型倒是给得多——Teuken-7B 的非英语份额有 51%,Apertus 是 40%,EuroLLM 是 37%——但论文指出,这类模型同规模下跑分明显落后于通用模型。行业里还有个老担忧:小模型容量有限,语言之间会互相挤占,也就是「容量竞争」。

Lara 团队的回应,是把数据配比和架构一起改。

模型本体:7.2B 总参,0.6B 激活

Lara Mini base 从零预训练 6T token:英语只占 41%,44 种其他语言(覆盖全部 24 种欧盟官方语言,模型卡注明简体与繁体中文分开计数)合计 2.18T,占 36.4%。而且训练越往后非英语越多:英语占比从主阶段的 44% 一路降到退火阶段的 27%,其他语言从 46% 涨到 55%,在退火阶段反超英语,成为最大数据域。6T token 里 97% 是文档首读,几乎不靠重复堆量。

架构同时为多语和推理成本设计:每一层都是细粒度 MoE,128 个路由专家每个 token 激活 4 个,外加 1 个共享专家;总参数 7.2B,激活只有 0.6B。34 层里仅 7 层保留全局注意力,其余由 Gated DeltaNet 和窗口 512 的滑窗注意力混排,推理状态不随输入变长而膨胀;再用 100B token 的第四阶段把上下文从 4,096 拉到 128k。注意这是基座模型:只会续写文本,没有指令微调,也没有安全微调。

成绩单:57.0,论文自报口径

在论文自己评测的 36 个激活参数不超过 2B 的开源基座模型里,Lara Mini base 四域平均 57.0,领先第二名 granite-4.0-h-tiny 3.1 分,多语平均 56.7,领先 Gemma-4-E2B 3.4 分,数学单项第一,英语第二,代码第五。代价侧的对照很直观:granite-4.0-h-tiny 与 Qwen3-1.7B 分别读了 22.5T 和 36T token,约为它的 4 倍和 6 倍;全部 56 个被比较模型里总分更高的只有 6 个,激活参数都是它的 4 到 14 倍。

推理是另一半卖点:单张 A100、单人使用、不量化,生成速度约每秒 1,100 字符,与约 10 亿参数的稠密模型相当;所有总分更高的模型,生成速度至少慢 1.8 倍。最接近的 MiniCPM5-2B 总分只高 0.5 分,多语平均却低 8.7 分。

语言在专家里怎么分家

机制层的发现更有意思:论文用 Jensen–Shannon 散度度量每种语言在 128 个路由专家上的分布,结果显示语言在首层和末层路由差异明显,在中间层几乎一致——MoE 让不同语言「各走各的门」,论文认为这减少了语言间的容量竞争,正对着「多语互挤」的老担忧。

所以呢

权重已在 Hugging Face 以 CC BY-NC-SA 4.0 发布:研究和非商业使用免费,商用要另谈。团队还承诺发布 T-HellaSwag——把常识推理基准 HellaSwag 用机器翻译做成 110 个语言变体(105 种语言、25 种文字,每变体 200 篇、合计 22,000 篇),称质量优于现用的多语版本;截至论文提交,它仍是「将发布」状态。

对做中文模型的读者,这篇的价值不在跑分榜,而在方法论:数据配比被当成一等设计变量来调,语言多样性不是要交的税,而是还没开采的矿。当英语语料的边际收益越来越薄,「下一个 token 从哪来」可能比「参数再堆多少」更值得算。

论文:https://arxiv.org/abs/2611.16956
权重:https://huggingface.co/translated/Lara-4-Mini-Base