给模型改答案,业界习惯用「反转次数」衡量——改得越多说明它越听进去了。但佐治亚理工的研究者用两轮审计算清这笔账后发现:改口率是判断改对改错的坏代理指标。一个挂着「领域专家」头衔的助手哪怕给出错答案,模型也更愿意跟着改。

这套审计出自 arXiv 的《When Expert Disagreement Hurts: Prestige and Selectivity in LLM Decision Revision》(https://arxiv.org/abs/2611.16694),作者是 Georgia Institute of Technology 的 Yupeng Tang 和 Mingfeng Lin,已被 NeurIPS 2026 接收。核心问题很窄:当证据和初始答案都锁死,只改变唱反调来源身上挂的标签,模型的决策会怎么变,这变化到底是帮忙还是添乱。

1,989 道题,锁死证据只换标签

审计用的是两轮探针。第一轮模型对同一份题目加证据给出是/否判断,这个答案直接复用到第二轮的三个分支:自己反思、面对匿名反对、面对专家-labeled 反对。三分支共享同一问题、同一证据、同一初始答案,差异只能归因于标签本身。

题库由三个专家标注数据集拼成,共 1,989 条二分类样本:PubMedQA 医学题去掉模棱两可的 Maybe 后剩 890 条,SciFact 科学论断保留二元标签剩 299 条,ContractNLI 法律假设去掉 Neutral 后剩 800 条。标签分布是 1,379 个 Yes 对 610 个 No。跑全量基准的五个模型为 GPT-4o-mini、Claude-Sonnet-4、Gemini-2.0-Flash、Llama-3.1-8B 和 Mistral-7B。

90% 的准确率要求九倍的选择性

论文的判据是精确的。设初始准确率为 a,模型把对的改错的比例是 h、把错的改对的比例是 b,那么修改只有在 b/h > a/(1-a) 时才提升准确率。初始准确率 90% 时门槛是九倍——模型得改错九次、才对一次才刚好打平。

实测里所有模型都朝反方向走。论文把各模型的选择性 b/h 与盈亏平衡点的比值画成图,GPT-4o-mini 是 0.25,Claude-Sonnet-4 是 0.19,Gemini-2.0-Flash 同样是 0.25;两个开源权重模型 Llama-3.1-8B 和 Mistral-7B 分别是 0.82 和 0.81,只差约两成没够线。三款闭源模型需要再提高三到五倍选择性才能止损。

代价直接落在表里:专家-labeled 反对下,Claude-Sonnet-4 的正确变错误占 19.9%、错误变正确只有 3.8%,准确率掉 16.1 个点;GPT-4o-mini 掉 11.0 个点,Gemini-2.0-Flash 掉 6.8 个点,两个开源模型分别只掉 2.3 和 1.9 个点。三款闭源模型的配对检验 p 值都在 2×10⁻²⁰ 以下。

有意思的对照是 GPT-4o-mini 的反转率:初始答对的题,匿名反对下有 10.0% 被改掉,挂上专家头衔后变成 16.9%——同样的答案,只是反对者换了个身份。

标签加了反转,不一定掉分

论文把「标签对反转的影响」和「标签对准确率的影响」拆开算,这是全文最关键的一层。GPT-4o-mini 的标签效应是反转率 +6.90 个点、准确率 −5.19 个点;Llama-3.1-8B 是 +5.18 和 −3.77。但 Claude-Sonnet-4 反转率涨了 +2.62,准确率却是 +0.30(95% 置信区间 [−1.01, 1.61]);Gemini-2.0-Flash 反而反转得更少(−1.86),准确率还涨了 +2.37。可见专家标签造成的损失不能全记在标签头上——Claude-Sonnet-4 和 Gemini-2.0-Flash 的准确率下滑来自「反对」本身,不是「专家」两个字。

论文还做了道更严格的控制:让匿名来源和专家来源给出完全相同的两句话理由,不加填充,两个提示词只差描述来源的那一句。结果标签仍让 GPT-4o-mini、Claude-Sonnet-4、Gemini-2.5-Flash 的反转率分别上升 4.82、5.62、4.42 个点,准确率分别下降 4.82、3.21、2.81 个点,其中只有 GPT-4o-mini 的准确率区间排除了零。

「来源可靠性」这句话本身也有分量。在带填充的对照套件里,给专家描述加上「但他们也可能错」,五个受测模型反转率全部下降,其中 Claude-Sonnet-4 从 7.8% 掉到 1.4%,四个模型达到显著;加上「有过往战绩」的描述则让五个模型反转率全部上升,两个显著。

别指望 prompt 一句话能救

论文测了修复手段,效果都有限。提示词里的证据门(evidence gate)要求模型只在证据支持时才改,在只给答案的套件里把三个闭源模型的正确变错误从 171 次压到 76 次;但换成带论证的反对就打折——Claude-Sonnet-4 从 24.7% 降到 20.2%(p = 0.013),GPT-4o-mini 从 28.1% 降到 24.6%(p = 0.077),Gemini-2.5-Flash 和四个新模型没有显著变化。

论文还从 token 分数层面看了机制:在两个开源权重模型上,Llama-3.1-8B 有 63.2% 的反转、Mistral-7B 有 26.8% 的反转,发生在 Yes/No 对数概率根本没变号的情况下。也就是说,答案是被渐变的分数推移跨过决策边界,而不是模型真算出了相反的结论。

这不是孤例。另一组来自 Amazon、Georgia Tech 和 Illinois Institute of Technology 的研究《Easier to Mislead Than to Correct: Harmful and Beneficial Revision in LLM Conformity》(https://arxiv.org/abs/2606.01637)在四个开源权重模型、七个问答数据集上做了同类实验,方向一致:全错的同伴把有害改判从 15.6% 推到 62.9%(+47.3 个点),全对的同伴只把有益改判从 32.7% 推到 51.5%(+18.8 个点);权威标签同样让模型更倾向选被背书的答案,不管它对不对。该文还提到,思维链和反思这类通用干预手段不能可靠压住有害改判。

所以呢

现在很多多智能体流程把「另一个 agent 不同意」当纠错信号,甚至给不同 agent 挂上专家、组长之类的角色标签。这篇论文把代价算清了:模型确实会更频繁地改口,但选择性远不够,方向一旦错,损失比收益大得多。

值得注意的是,在这张表里 Claude-Opus-4.8 独自越过盈亏平衡线(比值 1.33),准确率也没下滑——因为它几乎不改口。这提示了一件事:分歧式流水线里真正稀缺的不是让模型更听劝,而是让它在证据没变时守住答案。论文的建议也很直接:不要按反转次数或最终准确率单独评估修订流水线,要按模型和协议分别报告漂移、分歧敏感度、标签的双重效应和修订的选择性。

代码和审计协议已开源在 https://github.com/yupengtang/when-expert-disagreement-hurts