Liquid AI 把 LFM2-8B-A1B 词表原地扩到 128K:用「BPE 续接 + 子词均值初始化」让低资源语言 decode 提速 2.2-3.7×

Liquid AI 在 arXiv (2607.15232) 发布了一种 LLM 词表原地扩展方法:在已有 tokenizer 上「续 BPE」,把 8B MoE 模型 LFM2-8B-A1B 词表扩到 128K,Hindi / Vietnamese / Thai 等低资源语言每字符 decode 速度提升 2.2-3.7×,模型权重与扩展 tokenizer 已开源。