让 Qwen-2.5-72B 算一道 4×4 行列式，你会看到一场近乎完美的表演：每个乘积都对，每次相加都对，最后报出 323——而正确答案是 83。错在哪？中间某一步，该写「+」的位置它写成了「−」，之后的每一步都在错误的表达式上正确地算了下去。一个字符，隔开满分答卷和错误答案。arXiv 上一篇 61 页的新论文把这类「负号错误」拆到了层级：arXiv:2611.07478。
病灶：网络最后四分之一
作者对五个开源模型家族——Gemma-3-27B、Mistral-Small-24B、Phi-4-14B、Llama-3.3-70B-Instruct、Qwen-2.5-72B-Instruct——跑了同一套逐层读出管线，任务是两件小事：4×4 行列式和分部积分。结论出奇一致：错误的符号是在网络深度后 25% 的 MLP 层写入的。行列式任务上，各家确认错误落在这一区间的比例是 Gemma 72%、Qwen 80%、Llama 94%、Mistral-Small 95%、Phi 97%；分部积分是 70–100%。而且这不是微调训出来的毛病——在测试过的 Qwen 底座上，指令微调之前这个模式就已经存在。
三种「盖章」方式
同样写在尾部，机制却分了型。Qwen 里有固定的「负号盖章层」（L75、L78）：不管该写什么，它们都投「−」一票；好在 L77 是个「抢救层」，恰好在该写「+」的位置用力反制——Qwen 出错，是它的默认负号没人拦住。Llama 则是纯「放大器」：哪边符号已被选中就放大哪边。
定位 ≠ 可操控
真正扎心的在因果实验。从残差流里减掉一个符号方向，Llama-3.3-70B 上 13/14 的留出负号错误当场翻转；同样的干预在 Qwen、Gemma、Mistral-Small 上复现（各格 24–70%），十个模型×任务格的可操控率横跨 4–93%。对照也很硬：等强度随机方向在 923 例里只翻 1 例；手术式剂量下，Llama 本来正确的 72 个「+」答案一个都没碰坏。但 Phi-4 是反例——定位一样清晰，干预却几乎翻不动：它的符号被约 15 层冗余写入，logit 余量中位数 17.8，比其他任何模型都高出数倍。这些余量和冗余，在定位图上完全看不见，只有真的动手干预才测得出来。值得一提的是，核心结论全部走了预注册：预测和及格线先冻进 git，再看留出数据，29 项检查过了 23 项，失败的也照实报。代码和逐例结果开在 GitHub。
所以呢
这篇论文打掉的，是机制可解释性「先找位置、再在位置上动刀」这条默认路线的前提：找到病灶，不等于病灶能治。对做模型编辑、白盒审计的人，地图不等于手术权——余量和冗余决定这把刀有没有用。对普通使用者，它给了一个更朴素的安慰：模型数学算错，常常不是「不会推理」，而是一个 token 的写入习惯出了偏差。下次看到大模型低级翻车，先别急着质疑它的推理能力，问问它哪一层盖错了章。