MHAR 把 Transformer 残差流从「一条单车道」拆成 H 条独立路由:特征子空间第一次有权自己挑历史层
TL;DR: 一篇刚刚挂出来的 arXiv 论文(2607.27230)给 Transformer 的残差流做了一次少见的「升维改造」。核心思路是:把 attention residuals 里那个唯一的「深度路由 query」从 1 个改成 H 个,每个子空间各跑各的 softmax。结果在 100M/350M/1B 三个尺度上都吃到了稳定的 val loss 收益(-0.061 / -0.149 / -0.140),8B mid-training 还顺手把 GSM8K 拉高 +3.2、GPQA +3.1。
为什么这件事值得单独写一篇
Transformer 的残差流有一条长期被忽视的硬约束:它本质是「单车道」——每一层都只能从前一层的最终输出继续往上传。2024 年 Attention Residuals 的工作给这条单车道装了一个可学习的「深度路由 softmax」,让每一层可以学着从更早的历史里挑信息。
但问题是:那条 softmax 只有一个 query,而且这个 query 必须在整个隐层宽度上共享。换句话说,「想读深度历史哪一层」这件事,对所有特征子空间只能达成一个共同意见。宽度越大,子空间之间的分歧越大,这个强制折中的损失就越严重。
arXiv 2607.27230 的新工作 Multi-Head Attention Residuals (MHAR) 做了一件看似简单、但工程量不小的事:把这个 query reshape 成 H 个 per-subspace heads,每个 head 各自跑 softmax。整个读出变成块对角结构,reshape 不增加任何参数,计算开销也基本可以忽略,当 H=1 时它严格退化成原始的 Attention Residuals。
论文里几个真正「硬」的结果
- 尺度一致性:在 100M / 350M / 1B 三个尺度上都跑赢了 vanilla Transformer 和 Attention Residuals,而且 H=4 到 H=8 之间存在一个平坦的最优区间。增益随模型变大而变大——这正是新结构最有用的信号,意味着它在规模化训练里有真实价值,不是在 toy 模型上调出来的假阳性。
- H 不是 free knob:验证 loss 相对 H 呈现 U 型曲线,过拆分(H=16)反而回吐一部分收益。作者直接做了 learned query 的 probe,确认「子空间真实存在的分歧」才是底层驱动因素——这一段在 AI 圈子里常被忽略,但它是把一个新机制从「trick」抬升到「principled」的关键证据。
- 8B mid-training 真实收益:用 delta attention residuals 做 identity-preserving conversion,在 8B 模型 mid-training 阶段拿到了 GSM8K +3.2 / GPQA +3.1。这些不是 random baseline 的小波动,是中等难度的 reasoning 任务上的可见跃迁。
- 工程可用性:Fused Triton routing kernels 把 attention-residual 的训练吞吐从 baseline 的 0.2–0.5x 提到了 0.55–0.88x,峰值内存基本没退化。这是新结构能不能进主流训练栈的生死线,这一关过了才算数。
它在一波「残差流改造」工作里站在哪
最近三个月残差流这条线非常热闹,可以拿 MHAR 跟同期工作对照一下,看清它的相对位置:
- DAR (2607.18730):做「双流交互」,让一条流从另一条流学深度权重。MHAR 没引入多流,而是把同一个 query 切头,思路更保守。
- WAV (2606.06564) 和 HAARES (2606.06564v2):都在 block 级路由上做文章,加方向性 basis(attention vs MLP、early vs late)。MHAR 是 token 维度的子空间切分,跟它们属于不同抽象层级,可以叠加。
- xHC / DeepLoop / HARC(本月上半月 arXiv):xHC 把 N=4 的工程墙推到 N=16,DeepLoop 在循环深度上修残差缩放,HARC 把安全对齐锁到残差子空间。MHAR 不碰这些维度,但它提供的 H 是另一个正交的设计轴。
简单说:MHAR 不是要取代谁,而是给 Transformer 残差流的设计多塞了一个被理论解释清楚的旋钮。
我个人怎么看
我读 MHAR 这篇论文最直观的感受是,它不是一个性能大幅领先的工作(头号任务上的 val loss 改进就十几个 basis points 量级),而是一个架构正义的工作:
- 它把一个早该被质疑的设计假设(「所有子空间共用一个路由 query」)摆到台面上,再用实验证明这个假设真的在拖后腿。
- 它给出了一个几乎零成本、最优区间明确的修法,而不是堆一个新机制。
- 它承认了 H 是一个真正的设计变量而不是 free knob,U 型曲线本身就是对社区最有价值的贡献——告诉后来者「别瞎试」。
- 工程细节(Triton kernel、identity-preserving mid-training conversion)踩在了「能不能落地」的关键路径上,不是论文发完就完事。
我比较担心的是:它声称的所有「零成本、零参数」优势,高度依赖 H 的取值在 4–8 这个窄区间。如果训练到 70B+ 之后,「平坦最优」是否还成立、是否会被 RoPE scaling、long-context extension、MoE routing 干扰,目前还看不到证据。作者下一步发 8B 以上的全量预训练数据是必做的——否则它对超大模型的迁移性就只能停留在「看起来合理」。
所以呢
如果你是做预训练 infra 的:这个结构改造的工程成本足够低,值得在 7B–13B 训练上加一行 ablation 看 H 是否落在 4–8 区间。如果 H 稳定,意味着你拿到了一个几乎免费的 val loss 红包。
如果你是做架构研究:残差流这条线未来 6 个月大概率会继续出「多 H、多 basis、多 stream」的混合体——DAR、MHAR、WAV、xHC 互相之间的对照实验会成为社区标准 benchmark,值得跟进。
如果你是做应用的:不急着动。MHAR 给的是「更大尺度训练里多花点算力换 val loss」的优化空间,在应用层看不到直接收益。但你应该知道这件事,因为下一波开源旗舰模型(Llama-Next、Mistral Large Next、Qwen3-Next)很可能把这种残差流改造包装成「我们的训练 trick」发出来。