给一个 8B 大模型的注意力头注入同样预算的噪声,只是投放方式不同——随机撒开还是压在连续几个 token 上——GSM8K 准确率能差出 12.4 个百分点。一篇 11 月 10 日提交到 arXiv 的论文(arXiv:2611.14209)把这个反直觉的结果量化了出来,作者是华沙生命科学大学信息技术研究所的 Karol Struniawski。
实验设计:同预算,两种投放方式
论文的切入点来自神经科学。哺乳动物长时间清醒时,大脑皮层会自发出现局部的短暂"静默",即 off-state 或微睡眠,这类局部掉线会预示人在需要连续思考的任务上出现认知断片。作者的类比是:自回归模型的推理链逐 token 展开,第 t 步输出条件化后面所有步,那么"局部、连续"的结构性损伤,是不是比"均匀、分散"的噪声伤害更大?
实验用 GSM8K 基准、250 组配对推导,两个 8B 开源权重模型:Qwen3-8B 和 LLaMA-3.1-8B-Instruct。掩码只打在上半层,Qwen 取第 18 至 35 层共 576 个头,LLaMA 取第 16 至 31 层共 512 个头,两者都是 32 个 query 头共享 8 组 KV 头的 GQA 结构。投放方式两种:burst 把掩码连续压在相邻若干步;i.i.d. 则用分层五分位匹配把同样累计预算打散到整条生成序列,保证两组时间分布边缘一致。
数字:12.4 个百分点从哪来
在 onset 参数 B=0.10(约等于受威胁 head-token 量的 5.7%)这一档,分化很清楚:
- Qwen3-8B 干净基线 93.6%(234/250),i.i.d. 噪声后 91.2%,burst 噪声后 78.8%。相对扩散噪声,burst 多掉 12.4 个百分点,精确 McNemar 检验 p=5.5×10^-6,Holm 校正后 p=1.1×10^-5,95% bootstrap 置信区间 [-17.6, -7.2]。
- LLaMA-3.1-8B-Instruct 干净基线 87.2%,i.i.d. 后 84.0%,burst 后 76.8%,差 -7.2 个百分点,p=0.0198。
- 两组实际注入量对齐:Qwen 的 burst 与 i.i.d. 分别是 8,897.3 与 8,631.3,LLaMA 是 6,626.4 与 6,437.2 个 head-token。
对照还成立:同样预算均匀打散,Qwen 还能守住 91.2%、LLaMA 守住 84.0%。掉的不是噪声总量,而是集中度。
再往下,论文把损伤拆成两问:单步内的密度,还是跨步的连续性?在 100 组配对的探索性实验里,Qwen 上"单步密集"相对扩散噪声已掉 10.0 个百分点(p_Holm=0.0425),再把掩码连成三步只多掉 7.0 个百分点(p_Holm=0.1892,置信区间跨零)。证据更支持"单步突然缺一大块"是主因,"跨步连续"还只是趋势。
机制解释:KV 缓存一旦脏了就没法回滚
作者给出一个叫"自回归吸引子陷阱"(Autoregressive Attractor Trap)的解释。注意力头在某一层被屏蔽,残差流被扰动,后续层的 Key 和 Value 就用这批被污染的表示算出,而自回归解码器把发射的 token 和 KV 向量永久写进上下文。注意力恢复之后,那些完好的头读到的仍是脏缓存,解码轨迹被锁进错误的吸引盆,贪心解码也走不出来。
作者写得很克制:这个机制被明确标注为解释性模型而非已证因果定理,因为论文没做 KV 缓存状态回滚手术。论文也承认 LLaMA 的损伤有一部分是格式崩塌而非推理错误——36 个 discordant 失败中有 8 个(22.2%)没输出最终答案行;只看有答案行的条件准确率,差距从 -7.2 收窄到 -5.0 个百分点。Qwen 相反,条件准确率从 91.9% 掉到 80.5%(-11.4 个百分点),基本是算错而非格式崩。
三处值得单独拎出来的自我披露
单作者小样本预印本能站住脚,靠的不是数字漂亮,而是把窟窿自己写出来。
一是统计门槛没全过。预注册显著性阈值是 α=0.01,而 LLaMA 在 B=0.10 拿到 p=0.0198,没过线,作者照实列出。LLaMA 的答案格式缺失率 9.6% 也超过注册的 2% 阈值,i.i.d. 对照臂同样超标(4.0% 与 6.0%)。B=0.05 那一档还出现方法分歧:Qwen 的 bootstrap 置信区间排除零,精确 McNemar 检验 p=0.0614 却没显著。
二是单次抽样的方差被低估。同样那 100 道题,换成确认实验的调度方式,Qwen 的 burst 减 i.i.d. 是 -6.0 个百分点、LLaMA 是 -5.0 个百分点;探索实验那一次随机调度给出的是 -17.0 和 -2.0。所以单步密度那个 -10.0 个百分点只能当作这一次抽样的探索性发现。LLaMA 上参考对比甚至没能复现(-2.0 个百分点,p=0.8145),Spaced 与 Burst 打平不能解读成机制不变。
三是高剂量区间不单调。B=0.15 时 Qwen 掉 -23.3 个百分点,B=0.20 反而只掉 -15.0 个百分点。这批扫描只有 60 组样本,无法与调度随机性区分,作者没当规律。
所以呢
这篇论文的价值不在 12.4 这个数字,而在于它把一个工程直觉变成了可测量的东西:自回归推理链的脆弱性来自结构,不来自总量。
这直接改变了"给模型加噪做鲁棒性测试"该怎么设计。随机撒开测出来的数字,和真实世界里偶发的、局部的、连续的头失效不是同一回事——前者测平均韧性,后者才真正会打断推理链。拿"随机 dropout 只掉 2 个点"当鲁棒性指标,等于在测一个不存在的故障模式。
对工程侧的另一层含义是,KV 缓存的可逆性可能比模型精度更值得投入。论文没能验证吸引子陷阱,恰恰因为它没做缓存回滚;而"能不能把被污染的那段上下文捞回来",恰是长上下文 agent 在生产里反复遇到的——工具调用失败一次,后面几十轮推理就建在脏状态上。
至于和神经科学的类比,作者写得很清楚:这是操作层面的平行,不是生理层面的等价。注意力头做的是 token 向量上的点积路由,和皮层柱的突触传递、脉冲放电不是一回事。值得保留的是"局部静默会打断连续认知"这个现象本身——人类清醒时也会被微睡眠打断,那 LLM 的"微睡眠"能不能被检测、被修复,可能比再刷几个点更有意思。