一条通稿能同时出现在几十家门户上。人类读者知道这是同一条新闻,读新闻流的模型却看到几十个独立信源。arXiv 论文 2611.09203 量化了这个落差。
复制不是佐证:近两成旧闻是别家的副本
论文从 CC-News(2017—2019)抽了 20 万篇英文报道,涉及 6877 家媒体,用 MinHash 加局部敏感哈希找近重复对:前 2000 字符切成 5 词 shingle,做 64 组哈希,估计 Jaccard 相似度不低于 0.6 才算候选。结果 37705 篇(18.9%)能连到别家媒体的近重复稿,连成 12243 条重复链。
作者标注 150 个检出对和 150 个对照对,前两位作者盲标其中 100 对:九个标签上一致 84 对(κ=0.80),判断"是否真依赖"上 100 对全对(κ=1.00)。依赖类型里通讯社通稿 52 例最多,同集团共享 40 例次之;27 例误报全出自样板文字,清掉后精度升到 0.97,代价是漏掉 7 个真依赖。信源独立与真假,论文都没建立。
三份假报道就够,提示词却救不了本地小模型
实验用编造的人和媒体名,模型没有先验知识可依。320 条主张分四类,四个评审:Llama 3.2 3B、phi4 14B(4-bit Ollama 构建)、Gemini 2.5 Flash、Gemini 2.5 Pro,温度 0。
给评审看一条关于编造者的假报道,phi4 接受率是 0.21;换成三条来自不同编造媒体、内容一模一样的转载,涨到 0.90。Llama 3.2 从 0.06 涨到 0.71。翻转是单向的:phi4 有 55 条从假转真、0 条从真转假,Holm 校正后 p 小于 10 的负 14 次方。
论文随后加了一句提示:这些报道是同一条通稿的转载,只算一个信源。Gemini 2.5 Pro 照做,三份和十份下都降到 0.00;Flash 也降了但不稳定;phi4 是 0.82、Llama 3.2 是 0.74,统计上都没显著变化。换成结构化来源表,Gemini Pro 降到 0.01,Flash 和 Llama 3.2 也跟着降,只有 phi4 无视。
本地模型更吃"媒体多样性":同样三份真抄件都来自同一家编造媒体时,Llama 3.2 接受率 0.00,分散到三家是 0.71;phi4 是 0.62 对 0.90。它们数的是"几家媒体",不是几份独立证据。反过来,Gemini Pro 会照着"降低确信度"的元数据走,哪怕元数据是错的:三份不同措辞的报道被标成"同一篇故事的改写",接受率从 1.00 掉到 0.36;带同源提示时它连真话都不信(0.00,低于它对一条无标注报道的 0.64)。
去重必须做在证据侧
持续学习流用 Qwen2.5-1.5B-Instruct 挂 LoRA 适配器,三个种子;每个世界含 400 条真事实、100 条合法更新、171 条谎言(占 30%),报告按时间顺序流过 30 天。攻击分三种:原样抄、改写、串谋——两家不抄彼此但口径一致。
几条规则很快塌掉。等三份报告再收,真消息只收到 25%,三类谎言分别收到 100%、100% 和 0%;按"重复链"数两份,抄件谎言放进 57%,恰好等于 1 减 0.92 的 10 次方——十条真抄漏掉一条的概率,只数链的攻击者多发几份就能赢。
管用的是改证据:每条链只给评审一份。phi4 收进来的抄件谎言从 0.57 降到 0.33,Llama 3.2 从 0.56 到 0.35,Flash 和 Gemini Pro 各降 0.10 和 0.16。学生最终吸收的编造者谎言,Llama 3.2 从 0.78 降到 0.48,phi4 从 0.83 到 0.51。代价是真消息接受率平均最多掉 4.2 个百分点,最大的 95% 置信上界 5.9 点。重复本身几乎不增加危害:每份都学(0.86)和只学一次(0.83)吸收的谎言比例,配对差 0.027,置信区间跨零。真正有害的不是"多看几遍",而是"把副本数成信源"。
改写版连文本相似度都抓不住,串谋更是无解
前面这些都建立在逐字或近似逐字上。让模型把通稿"用自己的话重写",MinHash 和 5-gram 直接失效:phi4 重写 200 篇原文,200 篇全漏;Llama 3.2 和 Gemini 2.5 Flash 同样一篇没抓到。轻度编辑的转载则能连上 92%。
论文换了个角度:不比文本,比"引入了哪些新实体"。改写保留大部分人名、数字和引语,独立报道通常引入新的目击者或数字。新颖度等于后一篇没在前一篇出现过的实体(加引语)占比,低于 0.4 判为副本。在 100 对盲标的"同一事件独立报道"上,这个指标的 AUC 是 0.98,实体重叠单独用 0.99,而 5-gram Jaccard 只有 0.92;在 5% 误报的工作点上,文本 Jaccard 只能抓到 6% 的改写,实体法能抓到 91%。软肋是真人改写通稿会自己补人名和数字,只有 17% 落在阈值下——它抓的是"LLM 改写",不是依赖关系。
若再让模型补进三四个假细节——人名、数字、地点、引语——信号继续弱化:实测 AUC 从 0.97 掉到 0.94,5% 误报下的召回从 0.91 掉到 0.74。按实测漏检模式重跑,评审接受的改写版谎言从 0.67 降到 0.20,学生吸收的编造者谎言从 0.92 降到 0.32;补进假细节时是 0.40。原因是十条漏掉一条就够,评审还能看到两个"来源"。
串谋则是彻底的开放问题——两家不复制彼此、只是口径一致,依赖性信号全部失效。论文也交代了边界:主结果只有三个种子,本地评审是 4-bit 量化,流水线还没在真实新闻流上端到端验证过。
所以呢
对做 AI 新闻管道的人,清单有四条。第一,去重做在入口而非提示里——提示只对 Gemini 2.5 Pro 这类读得懂来源元数据的评审有效,本地模型直接无视。第二,来源元数据要结构化:媒体、通讯社、原始稿号各占一栏。第三,"数几家媒体"不是独立性指标,phi4 和 Llama 3.2 已证明。第四,把串谋当成未解问题,别假设管线能数清信源。
对读者同样成立:看到"多家媒体都这么说",先问一句这几家是不是在转同一份通稿——150 个检出对里 123 个(82%)是真依赖,27 个误报全部出自样板文字。
代码、标注和结果开源在 GitHub(MIT 协议),论文 19 页 13 张表,CC BY 4.0: