由 HPLT 联盟(图尔库大学、赫尔辛基大学等机构)联合发布的 MultiSynt/MT,是当前规模最大的开放多语种预训练语料之一:覆盖 36 种欧洲语言、合计约 4.8 万亿 token 的目标语料,由 1000 亿 token 高质量 Nemotron-CC 文本经过 Tower+ 与 OPUS-MT/HPLT-MT 系统翻译生成。对许多中低资源欧洲语言(如冰岛语、爱尔兰语、加利西亚语)来说,这是它们能直接拿到的最大开源预训练资源——过去这些语言要么依赖零散爬取的 web 语料,要么干脆进不了主流预训练流水线。 真正让业内侧目的是训练效率的实证。在多语基准评测套件上,使用 MultiSynt/MT 训练的参考 LLM 仅需 HPLT 2.0(原生爬取数据基线)约 72% 的预训练 token 即可追平最终分数——换算下来,预算可以直接压缩到 28%。而在把预算锁在固定的 1000 亿 token 时,相对于原生基线还有约 15% 的相对提升。它把"机器翻译合成语料是否真能替代原生语料"这件吵了几年的事,推进到了量化实证阶段。 论文还顺手做了一件对评测社区很重要的事:用 LLM-as-judge(流畅度敏感的判别器)复测时,标准多选题基准几乎抹平了不同 MT 系统翻译质量的差异,而基于流畅度的判别评测却把这层信号重新拉了回来,并证实问题不在 MultiSynt 本身。同时也坦承挪威语等文化语境任务仍然更适合用原生数据——这是对"token 总量神话"的一次冷静校准。对想在欧洲多语场景下做下一轮预训练实验的团队,这份 4.8 万亿 token 的开放语料几乎是裸送的礼物。