会议纪要最隐蔽的错误,往往不是字打错了,而是人标错了:主管那句"可以,就这么办"被记到提问者头上,后续的纪要摘要连责任归属一起出错。Google 本月在 Hugging Face 上架了一个专门修这类错误的小模型 DiarizationLM-Gemma-4-E4B-v1,思路不是把转写做得更全,而是把"谁说了哪句"校对得更对。
它站在流水线的后段
这个约 4B 参数的模型基于 Gemma 微调,输入不是原始音频,而是上游自动语音识别(ASR)与说话人分离(speaker diarization)已经产出的文本加标签。它读对话的文字上下文,判断某段话标给某个说话人不合理,然后修正分配。模型卡同时明确:它依赖上游结果,原始转写若已漏掉内容,后段无法凭空还原声音证据。
训练思路:护住长独白的声学锚点
按官方模型卡,早期的 DiarizationLM 模型(如 DiarizationLM-8b-Fisher-v2)主要在双人电话数据上训练,朴素的多域 SFT 在四人以上会议里会出现长独白期间的说话人身份漂移。新版本改用 locality-preserving oracle targets 训练:让模型学会修正 1-5 个词的词汇轮次边界和 backchannel(附和短语),同时在不少于 6 个词的长独白里保持声学说话人锚点不丢。
数字要分开看
官方评测列出四组基准,字级说话人错误率(WDER,衡量多少字被分给错误的说话人)全部下降,但幅度差异很大:Fisher 从 5.32% 降到 2.99%,接近砍半;会议数据 ICSI 只从 14.70% 到 14.10%,AMI 从 15.68% 到 14.89%。第三方报道同样指出,四组基准里有两组改善幅度很小——后处理有潜力,但单一数据集的效果不能外推成所有会议场景都同等受益。
边界与判断
模型卡明确标注这是研究发布,不是官方支持的 Google 产品。我的看法有两层:其一,这是务实的工程路线——不做端到端语音大模型,而是把 LLM 当"上下文校对器"插进现有流水线,4B 的体积也足够便宜;其二,风险恰好藏在它的优点里:用语言上下文修正标签,意味着读起来更顺的修正可能掩盖真实发言,重要会议的结论仍应保留原音可回查。对做会议纪要产品的团队,这个模型值得接进流水线做对比测试,但验收标准应该是角色分配更正确,而不是稿子更顺口。