几亿印度人平时用拉丁字母跟 AI 说话：aap kaise hain、meeru ela unnaru、neevu hegiddira。这些不是英文翻译——词汇、语法、语体全都属于母语。而主流多语言评测里没有这一层。
论文用四个模型、三种语言、142 条真实提问测了这事，结论有点扎手：自动指标看不见最该看见的失败。
一个被指标放大的失败
数据取自 OpenAssistant 的 142 条英文问答对，分技术、情感、叙事、事实四类提示词，同一批输入喂给三种语言和四个模型：Claude Opus 4.8、GPT-5.5、Gemini 2.5-flash、Qwen3.5-35B，温度全为 0，Qwen 跑在本地 Ollama。
人工评测只取 72 条（每种语言 24 条），三位母语者各评一种语言，按十维量表打 0–12 分，覆盖脚本纯净度、语义忠实、自然度、语法、措辞、语体、可用性。
自动指标这边，论文用 BGE-M3 余弦相似度做跨语言语义主指标，多语言 BERT 的 BERTScore F1 做辅助。两个最强模型咬得极紧：GPT-5.5 的 BGE-M3 均值 0.790，Claude Opus 4.8 是 0.786，差距 0.004。母语者那边，GPT-5.5 拿 10.73 分，Claude 拿 9.30 分，差距 1.43 分。论文自己算了比例：1.43 除以 0.004 是 357 倍。
同一段回答，1.00 分和 0 分
Qwen 有一段泰卢固语回答，原样把英文问题抄了回来，词重叠率 1.00。BGE-M3 给 1.000，BERTScore F1 也给 1.000——两个指标都认为是满分，母语者给 0 分。
还有一段进入重复循环，一个词或短语反复刷到 token 上限。BGE-M3 依然给 0.72，可用性依然给 0。
论文附录把这类对照摆成表：卡纳达语重复循环 BGE 0.38 / BERTScore 0.44 / 可用性 0.00；印地语重复循环 BGE 0.69 / 可用性 0.50。
为什么这么拧巴？论文给了相关性答案：在 Qwen 的输出上，原始 BERTScore-F1 与"英文词重叠率"的相关系数是 0.955，BGE-M3 是 0.805——这俩指标在奖励"还剩多少英文"，不是"转写得多到位"。论文没开 BERTScore 的 baseline rescaling，空回答也能拿约 0.42 分。
两种完全不同的翻车方式
Gemini 和 Qwen 的失败模式不重叠。
Gemini 的问题是脚本溢出：罗马化文本里混进母语文字。泰卢固语 142 条里 24 条中招（16.9%），卡纳达语 19 条（13.4%），印地语 8 条（5.6%），光泰卢固母语字符就累计 2,635 个。更离谱的是串台：泰卢固语第 53 行插进一个俄语词，卡纳达语第 33 行吐泰卢固文字，第 19 行把泰米尔语和泰卢固语混在一行。
Qwen 的问题正好相反——它一次母语脚本都没漏，但直接放弃转写，把英文原样还回来。严格 =1.0 口径下，印地语 3 条、泰卢固语 16 条、卡纳达语 19 条。论文另给宽口径（词重叠 ≥0.90）：全部模型共 70 条英文原样返回，Qwen 占 51 条，其中 41 条是真正的失败（排除了英文任务类提示词）。GPT-5.5 是 0。
Qwen 还有第三种失败：退化成复读机。论文识别出 13 例退化，全部来自 Qwen，其他模型 0 例。卡纳达语最惨，49 条回答撞上 4,096 的 token 上限，平均输出 token 从 541 涨到 1,768。
口径不是装饰
论文最实用的一条是把口径写死：无效样本记零分，且留在分母里而非剔除。
四种无效判定：空输出或只有空白；英文原样返回且词重叠 =1.0；出现母语字符（合法的罗马化变音符号 ā、ē、ṭ 除外）；退化成单个 token 重复 ≥20 次或四词短语重复 ≥50 次。
这一条直接改变排名：把无效行悄悄剔掉，Gemini 的泰卢固语 BGE 会从 0.630 涨到约 0.82，和 GPT-5.5 的 0.794 混成一团；记零才暴露差距。
论文还算了下两个指标自己的可信度：BGE-M3 与 BERTScore 在 44% 的行上分歧超过 0.15，最大分歧 0.28。两个标准指标在将近一半输出上互相打架，它们的"一致"就不能当验证。
我按作者仓库重算了一遍
官方仓库公开了逐行打分表。我按作者给的语言分模型均分、用样本数重新加权算出四个模型总分——GPT-5.5 10.73、Claude Opus 4.8 9.30、Gemini 8.91、Qwen 4.48，与论文 Table 3 完全一致。三种语言的跨模型均值 9.42 / 7.11 / 6.89、Qwen 分语言的 4.07 / 2.86 / 8.28、退化样本数 1 + 10 + 2 = 13，都对得上。
顺带发现一个口径漂移：同一份仓库的失败率表用宽口径（词重叠 ≥0.90），报出 Qwen 卡纳达语英文返回率 30.40%；论文摘要写 16.2%，它自己的 Table 2 按严格 =1.0 口径数的是 19/142（约 13.4%）。三个数对应三套口径，方向不变，但引用百分比得说清是哪一档。
边界得说清楚
作者列的限制很实在：每种语言只有一位母语者，没做评分者间一致性；温度 0 意味着没有采样方差，报的是点估计；72 条诊断集从 1,704 条总响应里按失败条件分层挑，不反映总体失败率；只覆盖三种语言，没测 AI4Bharat 这类专门做印度语言训练的模型，也没测"英文 → 罗马化"以外的方向。
还有一条容易被忽略：论文的结论句说核心发现"不是罗马化印地语难，而是自动指标不能单独当裁判"。这个限定很关键——说的是评测方法失效，不是宣告某个模型不行。
所以呢
这件事离"学术边角"不远。论文引用的真实语料统计：患者 WhatsApp 对话里罗马化占印地语消息的 83%、泰卢固语的 73%。另一条被引用的结论是，英语主导语料训练的分词器表示同样的非英语内容最多需要 15 倍 token；另有研究测出，罗马化输入会让结构化分类任务比母语文字低最多 24 分。
也就是说，评测口径失灵的地方，恰好是几亿人的日常输入界面。你要是只跑 BGE-M3 和 BERTScore，跑出一张漂亮的表照着选型，选出来的可能恰好是那个会把英文原样还回来的模型。
所以呢，最后落到一个朴素动作上：评测分数必须和"回答到底有效无效"绑在一起算，否则高分只是没看见问题。
论文：arXiv:2611.09085；代码与逐行打分表：MadhuBeesetty/llm-romanization。