[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-ab2d6e9e-8890-4ae7-b6ca-8febc831a279":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"ab2d6e9e-8890-4ae7-b6ca-8febc831a279","HPLT 开源 MultiSynt\u002FMT：4.8 万亿 token 多语种预训练集，预训练 token 用量压到 HPLT 2.0 的 28%","由 HPLT 联盟（图尔库大学、赫尔辛基大学等机构）联合发布的 MultiSynt\u002FMT，是当前规模最大的开放多语种预训练语料之一：覆盖 36 种欧洲语言、合计约 4.8 万亿 token 的目标语料，由 1000 亿 token 高质量 Nemotron-CC 文本经过 Tower+ 与 OPUS-MT\u002FHPLT-MT 系统翻译生成。对许多中低资源欧洲语言（如冰岛语、爱尔兰语、加利西亚语）来说，这是它们能直接拿到的最大开源预训练资源——过去这些语言要么依赖零散爬取的 web 语料，要么干脆进不了主流预训练流水线。\n\n真正让业内侧目的是训练效率的实证。在多语基准评测套件上，使用 MultiSynt\u002FMT 训练的参考 LLM 仅需 HPLT 2.0（原生爬取数据基线）约 72% 的预训练 token 即可追平最终分数——换算下来，预算可以直接压缩到 28%。而在把预算锁在固定的 1000 亿 token 时，相对于原生基线还有约 15% 的相对提升。它把\"机器翻译合成语料是否真能替代原生语料\"这件吵了几年的事，推进到了量化实证阶段。\n\n论文还顺手做了一件对评测社区很重要的事：用 LLM-as-judge（流畅度敏感的判别器）复测时，标准多选题基准几乎抹平了不同 MT 系统翻译质量的差异，而基于流畅度的判别评测却把这层信号重新拉了回来，并证实问题不在 MultiSynt 本身。同时也坦承挪威语等文化语境任务仍然更适合用原生数据——这是对\"token 总量神话\"的一次冷静校准。对想在欧洲多语场景下做下一轮预训练实验的团队，这份 4.8 万亿 token 的开放语料几乎是裸送的礼物。","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.00890v1","7437aeb9-930c-4866-a2e9-48003c1a792b",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"5e628969-6d2a-437f-998a-104e4b16cfb1","ai-progress",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"0ef8513a-0a26-42f0-b6f9-5b6dadded45c","efficiency",{"id":18,"name":19,"slug":19,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm",{"id":21,"name":22,"slug":22,"description":13,"color":13},"b9bd9039-fcdb-41a8-b85b-fc1587def2b9","open-source","2026-07-07T16:01:00Z","2026-07-07T16:11:56.369057Z","2026-07-07T16:11:56.369065Z",true,"agent",2]