注意力把每个 query 和每个 key 做一次完整点积。主流做法是让 query 少看几个 key,滑窗、KV cache 淘汰、动态选块都走这条路。EPFL 与 ETH Zurich 的 Swiss Data Science Center 这篇论文换了个轴:不砍 key 的数量,砍点积本身的维度。按论文自己的实测,4K 上下文下算的 query-key 点积只有 29.3% 到 34.2%,验证损失不但没涨,还低于稠密注意力。

一、RoPE 让点积可以被拆开

RoPE 把位置编码塞进 query 和 key 的每一对二维频率。旋转会叠加,query 与 key 的两次旋转合成一次,内积里只留下相对距离 Δ = i - j。第 l 对的频率是 θ_l,注意力分数能精确分解成各频率对分数之和。

频率高的对在几个 token 内就转过很多圈,它的分数对相对距离极其敏感;频率低的对在整个上下文里几乎不转,能承载长程依赖。

HiSA 的规则只有一句:第 l 对的分数,只在它被转过的角度 Δθ_l 还低于角度预算 Φ 时才保留,默认 Φ = 90 度,也就是转过不到四分之一圈才留。快的几对只能看几个 token,慢的几对能看几千个,合起来形成一个 reach。论文的配方下 d = 64、Φ = 90 度,RoPE base 取 10^4 时 reach 是 11.8K token,取 2*10^4 是 23.1K。

这个稀疏模式是静态且无参数的:只由位置和 RoPE 频率决定,不需要 router,不需要 top-k 选择,运行时也不打分挑 key。新引入的只有那个角度预算 Φ,投影、value 和 softmax 都没动。训练时用哪种稀疏,推理时就用哪种,不存在训练与推理不一致的问题。

二、算得更少,损失反而更低

论文从零预训练 SmolLM 架构的 135M 和 360M 模型,语料是 OpenWebText,预算约 20 token 每参数。4K 上下文下,135M 配 RoPE base 10^4:稠密验证损失 2.906,HiSA 2.880,点积只算了 29.3%;换 base 2*10^4 是 2.908 对 2.869,占比 34.2%;360M 上是 2.587 对 2.575,占比 29.3%。这个差距在上下文窗口的每个位置上都成立,不是只在开头几个 token 上省了损失。

内核实现分两档。精确规则用自写 Triton kernel,4K 下算 29.3%,但训练比稠密 SDPA 慢 1.7 倍;块规则版本 Flash-HiSA 按 128 token 分块,占比 34.8%,吞吐 238k token 每秒,和稠密 FlashAttention-3 的 236k 基本持平,但两者不是同一个模型,训练和推理必须用同一套。

推理端才是它省下来的地方。16K 上下文、batch 128 时,Flash-HiSA 13.0k token 每秒、KV cache 29.1 GiB;稠密是 9.2k token 每秒、45.0 GiB。吞吐高出 42%,缓存少了三分之一。即便用同一套内核、且一个频率对都不丢,Flash-HiSA 仍然快 13%,论文把这部分归给自己的 query tile 更小。

已经训好的稠密模型也能改。135M 稠密模型不改任何权重直接切到 HiSA,验证损失从 2.906 变成 2.937;各自续训 1.35B token 后,稠密续训是 2.838,HiSA 续训是 2.836。

三、模型自己就在压制那些分数

论文还检查了稠密模型到底用不用那些被 HiSA 丢掉的频率对:拿真实分数部分和一个同角度、内容无关的对照分数比,看谁对注意力输出的影响更大。训练开始时两者差不多;训练 1B token 后,90 度线以内只有 2-5% 的格子低于对照,以外则被慢慢压下去,180 到 360 度区间的比例从 33% 涨到 48%,在 SmolLM-135M 上超过 180 度的部分有 87-95% 低于对照,而后者训练量约 600B token。相对影响力上,超过 720 度的部分从 4.6% 降到 2.1%,在 SmolLM-135M 上是 0.5%。

也就是说,稠密模型花了一部分训练预算去压制这些分数,而且压制还在继续。HiSA 等于把这个过程直接写进架构。

四、几盆该泼的冷水

第一,实验规模只有 135M 和 360M,论文自己在结论里把放大到更大模型、下游任务基准、更好的 kernel 设计列为待办。

第二,精确规则训练比稠密慢 1.7 倍,速度优势要靠块规则版本才拿到,而块规则是近似,每对最多多留 127 个 token。反向传播目前还没吃到稀疏的便宜,只有前向在省。

第三,论文把分数按保留的频率对数量归一化做对照,验证损失 2.879,与 HiSA 的 2.880 持平,说明增益不是来自远处分数被隐式压小。但这个变体在长程复制任务上塌了:重复 2560 token 之前见过的 32 token 片段,它的 token 准确率只有 33%,HiSA 是 77%,稠密是 60%。被丢掉的维度并非在所有任务上都无所谓。

第四,同一时期至少还有两篇论文在做同一件事。ATFlash 按 RoPE 波长给每个频率对开距离窗口,他们自己报告在 Qwen2.5-0.5B 和 Llama-3.2-3B 上剪掉 37-48% 的 query-key 内积项、top-1 匹配率保持 96-98%。WavePrune 把每个通道限制在第一个旋转周期内,他们自己报告 Qwen3-8B 的 HELMET 从 35.7 提到 40.0,32K 上下文下 prefill 与解码相对 FlashAttention-2 提速 1.15 倍和 1.24 倍。HiSA 论文列了这两篇,并把区别归纳为三点:训练预算更紧、90 度只有四分之一圈;规则落成了真正的 KV cache 缩减;补了上面那套可解释性分析。论文也点明,前两篇都跳过了计算和 key 读取,但都没真正缩小 KV cache。

五、所以呢

这批工作指向同一个判断:RoPE 的周期性在远距离上大部分是冗余的,一个频率对真正能编码精确相对位置的距离是有限的。同一个判断,三个团队从训练损失、推理内存、输出分布三个角度各自验证了一遍。

HiSA 值得看的地方在于它把这件事做成了架构而不是推理技巧:改完之后可以直接当新模型训,也可以把已有的稠密模型续训转过去。对做长上下文部署的人来说,KV cache 少三分之一这条,可能比验证损失那点差距更有意思。

需要提醒的是,这仍然是小模型上的结论。只算三成点积这件事,能不能在更大模型上、在真实的长文推理里原样兑现,目前还没有人验证过。论文见 https://arxiv.org/abs/2611.26363 ,仓库在 https://github.com/ambroise-b/hisa 。