大模型看图说错东西,这件事如今有专门的分数管。偏好优化(PO)训出来的视觉语言模型,幻觉率分数一路往下走,于是大家默认「少幻觉」这个难题被解决了。可同一个改动往往也悄悄改变了模型愿意说多少东西——这两件事经常被混在一起算。这篇论文(arXiv:2611.23179, https://arxiv.org/abs/2611.23179)做的事很朴素:把四个公开的 PO 检查点拆开重算,看看分数下降里有多少来自模型真的看得更准,又有多少来自它闭嘴更早。
一张表里的矛盾
论文用 LLaVA-1.5-7B 和它的四个公开 PO 检查点:RLAIF-V、CHAIR-DPO、CSR、HA-DPO。在 CHAIR-500 上,四个模型的 CHAIRi 全部下降,物体召回率也全部下降——基座是 80.5,四个 PO 模型落在 65.1 到 76.2 之间。词数没缩水,基座 89.7 词,PO 模型 75 到 93 词;但每张图点名的物体类别从基座的 3.2 掉到 2.1 到 2.8。幻觉率和覆盖率一起往下走。
麻烦在于两个口径会给出相反的结论。论文同时算了去重口径的幻觉率 Hu:在 CHAIR 上四个 PO 模型比基座低 4.9 到 19.1 点,在 AMBER 上低 1.6 到 6.9 点,八个区间都不含零;但集合级 object F1 在 CHAIR 上对四个模型都没测出显著提升,CSR 在留出集上甚至掉了。差别来自重复:CHAIR 上 57% 到 65% 的物体提及其实是同一张图里重复点名已提过的类别,AMBER 上是 49% 到 54%,CHAIRi 把这些重复算进去,Hu 不算。
让基座模型闭嘴
论文的关键实验是:拿基座模型,给 EOS logit 加一个正偏置,让它早点停,停到召回率和 PO 模型对齐为止。这条提前停止曲线在两套互不重叠的 500 张 COCO 图上,复现了 RLAIF-V、CHAIR-DPO、CSR 三者 CHAIRi 改善的 58% 到 86%,分模型看是 61%、77%、86%。不用训练、不改权重,让原始模型少说几句,就能拿走大部分幻觉改善。
这也不是长度问题。按词数对齐要差得多:同一个偏置只复现了 0 到 24% 的改善;而且在召回率对齐时,PO 模型的描述比停止曲线上的还长,1.3 到 1.8 倍——只做长度控制的评测会完全错过这个效应。
写更长救不回来
反方向是让 PO 模型多写:给它的 EOS logit 加负偏置,强制继续,上限 512 token。结果只找回丢失召回率的 2% 到 9%,CHAIR 上 RLAIF-V、CHAIR-DPO、CSR 分别找回 2%、9%、4%,AMBER 上是 17%、24%、8%。新加的物体提及里有 94% 到 96% 是重复点名已经说过的类别。少掉的东西不是说回来就能回来的。
但基座模型其实记得这些物体。在 CHAIR 开发集上,基座描述点名了 RLAIF-V、CHAIR-DPO、CSR 各漏掉的 47%、48%、47% 真值类别;被强制写长的 PO 模型只点中 2%、13%、2%。AMBER 上是基座 18%、15%、16% 对 PO 模型 2%、6%、1%。于是论文提了个不用训练的补救:把 PO 描述和基座描述拼起来,只补基座提到、PO 没提到、且基座自己置信度高的类别。
阈值在开发集上固定,原样搬到留出集。RLAIF-V、CHAIR-DPO、CSR 恢复后召回率是 79.2、79.5、79.7,基座是 80.1;去重幻觉率 Hu 是 21.6、25.0、25.8,基座 26.9——三个模型都把 Hu 压到基座以下,分别低 5.24、1.85、1.08 点,区间都不含零。代价是它只保住一部分 PO 收益:留出集上它补进去的类别里,只有 41% 到 45% 是对的。
三条独立证据
少说话不等于看得更准,这个判断不止这一篇。Fazli 等人(https://arxiv.org/abs/2609.01888)评了六种缓解方法、三个 LVLM、四个基准,结论是幻觉下降常和信息量下降绑在一起,现有评测协议可能在奖励保守生成。Sandhu 等人(https://arxiv.org/abs/2608.24966)定位 LLaVA 里的注意力头做干预,CHAIRi 从 0.156 降到 0.096,物体召回率同时从 0.78 降到 0.70。机制来源之一的 Yue 等人 2024 年在 ACL 的工作(https://aclanthology.org/2024.acl-long.633/)更直接:让模型学会及时结束生成,CHAIRs 和 CHAIRi 分别降 26.4% 和 26.6%,代价是召回率掉 1.8%。
该泼的冷水
论文的边界写得很清楚:只测一个骨干 LLaVA-1.5-7B,只用贪心解码和一条详细描述的 prompt,两套 COCO 数据虽不重叠但同源;属性和关系类幻觉、以及验证不了的检查点都不在研究范围;区间都是名义 95%,没做多重比较校正;作者明确说停止比例只是复现比率,不对训练机制下因果结论。论文称会放评估代码,但没给出仓库地址。
所以呢
评测幻觉这件事,单看一个分数基本已经不可靠了。更实用的做法是:报幻觉率必须同时报物体召回率,并且在同等召回率下比——不然一个学会早停的模型就能拿高分。论文还顺手说明另一件事:模型嘴上少说的东西,常常不是忘了,是它的底座其实知道,只是被偏好优化压住了。所以下次看到一个幻觉率大幅下降的模型发布,你第一个该追问的指标是什么?