找出一个注意力头究竟在干什么，标准做法是跑数据：激活补丁、探针分类器、精心构造的输入，全都离不开前向传播。Miguel P. Bento 的 arXiv 2611.12206 给出另一条路：把注意力机制看作带连续对称性的几何对象，从权重里直接算出一个标量 ρ，一次前向都不跑、一条数据都不喂，就能判断每个头耦合位置信息的能力有多强。论文已被 NeurIPS 2026 的 Symmetry and Geometry in Neural Representations（NeurReps）工作坊接收为扩展摘要。
ρ：位置扰动相对静态项的比重
在 RoPE 模型里，注意力 logit 可以写成静态内容项 G_QK(0)=W_Q^T W_K 加上位置扰动项 P(Δ)=W_Q^T[R(Δ)−I]W_K，R(Δ) 是相对位置 Δ 上的旋转。ρ 的定义很朴素：在一组对数间隔的 Δ 上，取 ||P(Δ)||²_F 与 ||G_QK(0)||²_F 的比值再平均——位置项相对内容项有多大，ρ 就有多大。
这个数有两层性质。其一，它是基不变的：G_QK 在 (W_Q, W_K) 的整族重参数化下保持不动，ρ 继承了这份对称性，还额外对权重缩放免疫。其二，它度量的是容量而非用法：ρ=0 的头对任何输入都产生与位置无关的 logits（论文 Proposition 1 严格化了这一点），而高 ρ 只说明这个头有能力耦合位置，不代表它在某条输入上真的这么做。
归纳头全躲在低 ρ 尾部
归纳头实现「A B … A → B」的复制模式，是机制可解释性里被研究得最多的电路。它做的是内容匹配，天然与位置无关，于是作者的预测是：归纳头的 ρ 应该极低。四个无偏置 RoPE 模型给出整齐的验证：SmolLM2-135M、TinyLlama-1.1B、SmolLM2-1.7B、Mistral-7B，ρ 与归纳得分的 Spearman 相关系数从 -0.55 到 -0.74，全部 p<10⁻⁴⁰；每个模型最强的十个归纳头，无一例外落在 ρ 分布最低的 7%-30% 尾部。
作者也坦承相关性并不完美：归纳是多头电路，低 ρ 是必要条件而非充分条件——这个「不完美」恰好与「容量」解释自洽。
用 ρ 门控 YaRN：只动一半的头
均匀的 RoPE 缩放之所以伤短上下文，是因为它不加区分地修改所有头。作者反过来用 ρ 做门控：只对 ρ 最高的 50% 头应用 YaRN，其余头保持原始位置。在 Mistral-7B 上（原生上下文窗口内评测），512 token 短上下文困惑度：基线 7.63，全头 YaRN 19.37，定向 YaRN 12.92；4096 token 长上下文：基线 5.44，全头 162.96，定向 130.34。论文明确说这只是初步的概念验证。
所以呢
边界写得清楚：只验证了 RoPE 架构的 QK 通路、模型最大到 7B、YaRN 应用只在单个模型上做过。作者还预告了下一步：G_QK 特征谱、G_VO 奇异值、两者的交换子，可以拼出每个头的「不变量签名」。这个方向真正的卖点在成本结构——权重是静态、便宜、可复制的，激活分析又贵又依赖数据选择；如果不变量在更大模型上依然成立，可解释性就多了一个「先筛后查」的廉价前置步骤。代码开在 github.com/MPedraBento/rho-invariant，论文见 arxiv.org/abs/2611.12206。当分析一个模型的成本降到读它的权重本身，你第一个想看的会是哪个头？