结构化输出里有一种错误特别阴险:不是模型吐出乱码,而是它吐出一棵语法完全合法的树——里面写着一个顾客根本没说的配料。下游检查格式、检查字段、跑通业务逻辑,订单照样错下去。这类错误对调用方完全不可见,论文把它叫静默错误率。

11 月 12 日提交到 arXiv 的一篇论文(arXiv:2611.17169,ITMO 大学 IDM 实验室)把这件事做了量化。它不研究怎么把模型训得更强,而是研究一个完全免费的设计变量:你让模型输出什么格式。

六种格式,同一棵树

实验用 PIZZA 披萨点单语义解析基准:训练池 2,456,446 条由语法生成,开发集 348 条,测试集 1,357 条由人手写。论文挑了两个参数量不到十亿的模型——Qwen3.5-0.8B 和以卷积为主的 LFM2.5-350M——用 LoRA 微调,跑满 300 次(6 种格式 × 5 个数据池规模 × 5 个随机种子 × 2 个模型)。

设计很干净:六种编码全部无损,可解码回同一棵树,长度从 44.3 token 排到 10.9 token。更关键的是作者留了两对长度几乎一样的对照——exr 是数据集原生的 s-表达式,json 是长度匹配的括号记法;dsl 是符号速记(+cheese),words 是同结构的普通词写法(extra cheese)。后两者 token 数只差不到一个,唯一区别是一个写符号、一个写人话。

长度不是机制,表面形式才是

直觉是输出 token 越少,留给出错的余地越小。但论文把长度对准确率做回归,10 个模型×规模组合里 10 个的斜率都是正的(去掉 token 反而掉分),每 10 token 最多掉 1.1 分,而且只有 1 个组合统计上显著。更狠的反例是 exr-short——它只是把 exr 的构造器名换成单字母,长度从 44.3 砍到 32.3 token,Qwen 上准确率直接掉 10.6 分且在每个数据规模上都显著;而长度只有 exr 一半的 tagged 格式,在 Qwen 上却和 exr 打平。长度本身不预测准确率。

真正的胜负在长度匹配的那一对:words 在全部 10 个模型×规模格子里都赢过 dsl,Holm 校正后 9 个显著,全量数据下 Qwen 上领先 7.8 分(区间 6.1 到 9.5)、LFM2 上领先 5.4 分。反直觉的是在 LFM2 上,words 反而比 dsl 多花 token(12.0 对 11.4),仍然更准——更长却更准,说明它赢的不是短,是词。

至于跟原生格式比,论文自己的读法很克制:Qwen 上 87.5% 对 85.8%,准确率是打平而不是超越,Holm 校正后在 Qwen 上并不显著,作者把它写成「用 4.1 倍更少的 token 换来同样的准确率」。

错在哪里:否定

论文还换了个评估口径。传统做法看精确匹配率,但部署时真正该盯的是静默错误率——能解析、但内容错的输出比例。四分账是:正确 + 静默错 + 解析失败 + 拒答 = 1。只有后两种对调用方可见,可以重试或转人工;静默错直接到达顾客。

words 格式在 Qwen 上的静默错误率是 4.5%,原生 s-表达式是 10.3%,比值 2.3;LFM2 上是 10.0% 对 17.9%,比值 1.8。这组数字是论文实测口径,模型换成更大的、任务换成别的都还待验证。更有意思的是错的内容变了:Qwen 上 words 的静默错误里否定只占 5%,其他格式是 19% 到 34%;换算成订单,Qwen 用 exr 时 2.0% 的订单会出现静默的否定错误,用 words 只有 0.2%。因为 words 直接写「不要洋葱」,而其他格式要把它翻译成 NOT 结构或符号。另一个细节:words 凭空编造顾客没提的配料少 5.5 倍。

代价也要算清楚

论文没停在好数字上。守门策略(拒答非订单输入、听懂口头改单)在留出集上的拒绝率,Qwen 是 95.9% 到 99.0%,纠错精确匹配是 62.9% 到 75.3%,那个经典的「不要芝士」案例在 60 次全量跑里全部修好。

但严格拒答有明码标价的损失:真实订单里有 2.1% 到 5.4%(Qwen)、6.3% 到 10.1%(LFM2)被误拒。被拒的几乎全是训练语法里从不出现的礼貌用语——带问候、带 please、带 thanks 的 289 条测试订单,words 格式的误拒率是 6.1%,不带的是 2.6%。格式能救幻觉,但救不了没见过的礼貌。

延迟是纯赚的:Qwen 上 words 比 exr 快 3.7 倍,LFM2 上 4.4 倍,显存基本不动(1,704 到 1,806 MiB)。附录还有一段实机演示:Q8_0 量化、795 MiB 文件、350 MiB 常驻,iPad 上走 llama.cpp 加 Metal,单条订单中位 167 毫秒——作者注明这只是 10 单的演示,不是评测。

边界在哪,能不能外推

诚实的边界:只有一个数据集;两个模型都不到十亿参数,论文自己说这个效应可能随规模缩小;守门数据是作者自己生成的;导出的 LFM2 GGUF 和训练时只对上 93% 的订单。

但机制层有独立佐证。EMNLP 2024 的《Let Me Speak Freely?》(ACL Anthology)在另一支团队、另一批模型上发现,把输出限制成结构化格式会明显拖垮推理能力,而且限制越严格退化越大;本篇论文的综述里也把「强迫模型输出 JSON 会牺牲推理准确率」列为已有结论。LREC 2026 的《Format Matters》(HAL)在 13 个开源模型、4 个槽位填充和 3 个命名实体任务上,测出 2 到 46 个 F1 点的格式摆动。三支不同团队、三个不同来源,指向同一件事:输出格式不是显示层细节,它会改写模型的行为。

所以呢

输出格式是少数不用重训、不用加数据、不花推理成本就能拿到的杠杆。但先量你自己的静默错误率,再动格式——多数团队手上只有准确率,而准确率恰恰是那个会骗人的指标。