给大模型加算力,主流办法大致三条:加深、循环,或者把残差流本身加宽。MIT CSAIL 与 Adobe 的一篇论文(arXiv:2611.21608,2026 年 11 月 16 日提交,第一作者 Shivam Duggal)问了另一个问题——不是「每个 token 做多少计算」,而是「模型同时维持多少个活跃的计算状态」。
论文的答案叫 Lattice of Latents:在纵向那条贯穿网络深度的残差流之外,给每一层挂一条沿时间横向复现的潜变量流。这条流用仿射递推更新,跨 token 存活,并且直接去调制纵向流的注意力、KV 写入、MLP 计算与解码。
这是它跟混合 Transformer-SSM 架构的关键分野。在那些架构里,循环状态主要承担序列混合的内部记忆;而 Lattice 的横向潜变量不去替代注意力,它是陪伴残差流的「同伴状态」。论文特别指出,它不会增加每 token 的 KV cache 条目——这与加层、加循环步数的思路有本质区别。
数据:15.41 到 14.40 这笔账
在 20B FineWeb-Edu token 上预训练,论文报告的 FineWeb-Edu 验证困惑度是这么排的(按论文自己的实测口径):
- 参数匹配的基线 Transformer Base-24L(406.7M):15.410
- LLLM (945, 256)(406.5M):14.545
- LLLM (908, 256) 加输入注入与深度读出流(405.6M):14.400
- 同一模型改成顺序推理、不做 Jacobi 扫描:14.733
也就是说,406M 级别的横向潜变量模型把困惑度从 15.41 压到 14.40,而这个数字追平了参数量多 1.5 倍的 40 层 Transformer(Base-40L,609.1M,同样是 14.400)。每 token 计算量几乎没变:基线 0.71 GFLOP/token,Lattice 是 0.72。
提升更大的是带非线性自顶向下反馈的变体。论文用三次 Jacobi 扫描近似这条反馈路径,训练时 FLOPs 约为 2.6 倍,困惑度降到 14.026;推理时改回顺序展开,计算量回到 0.72,困惑度则是 14.733。这一档的取舍很直白:算力换精度,或者反过来。
叠加:13.61 与 13.76 口径不一致
Lattice 的卖点之一是它跟既有的残差流增强正交,可以叠加。论文在同规模(400M 参数、20B token)下测了一圈:单独用 Lattice 把 15.41 降到 14.47,优于超连接的 15.28、流形约束超连接的 14.93 和 value residual 的 14.69,但略逊于输入残差的 14.34。
真正有意思的是叠加:加上 Lattice 后,超连接从 15.28 降到 14.21(降幅 7.0%),超连接加输入残差从 14.22 降到 13.61(降幅 4.3%)。论文把这一组排在它测过的全部配置的第一位,称它比原始 Transformer 低 11.7%,比纯 Transformer 组合里输入残差加 value residual 那一档(14.16)还低 3.9%。
这里有个细节值得记一笔:论文摘要和 4.2 节正文写的都是 13.61,但图 3 的标题写的是「Lattice + HC + x0 reaches 13.76, the best overall」。附录另有一处写「learned value residuals 对 Lattice 几乎没有作用(13.61 → 13.62)」。三个数说的是同一个组合,对不上。引用时以正文为准更稳妥,但这个不一致本身说明论文的校对流程还没走完。
数学推理:同一个困惑度,差 10.1 分
困惑度之外的账在 GSM8K 上。论文在 GSM8K-Aug(385,620 道题)上做思维链微调,400M 规模下,基线 Transformer 的五项平均准确率是 36.02,带 Jacobi 的 LLLM 是 48.10,提升 12.08 分;600M 规模上从 40.24 提到 47.74,提升 7.50 分。论文的说法是,两个规模上每一个 Lattice 变体都比每一个 Transformer 基线高出至少 10.1 个 GSM8K 分。
更能说明问题的一组对照是:Base-40L 与 LLLM (908, 256) 的预训练困惑度完全相同,都是 14.40,零样本平均也几乎一样(47.36 对 47.38),但 GSM8K 上差了 10.1 分(33.5 对 43.6)。同一个起点,微调之后拉开十个百分点——说明预训练困惑度并不决定微调后的推理能力,中间还夹着一层这个指标捕捉不到的东西。
循环骨干:4 倍状态差的反超
论文还把 Lattice 装到了 Gated DeltaNet、Mamba-2、Triadic GDN 和 GDN-Mamba-2 混合模型上(10B token,约 405M 参数),横向潜变量分别调制这些骨干的记忆读取、写入与更新。结果是在每一个测试过的原生状态尺寸上都降了困惑度;其中 Lattice-GDN 与 Lattice-Triadic-GDN 超过了持有 4 倍原生状态条目的纯基线。
下游九任务平均,30 组配对里 Lattice 领先 29 组;只有一次回退,是混合模型在 128K 状态、五样本设置下的 45.02 掉到 44.80。
更硬的一层证据来自对 GDN 循环记忆本身的探测:在匹配状态尺寸下,Lattice 模型的记忆更集中(rent 降低 9.6% 到 18.3%),查询与主导记忆方向的对齐差距从 16K 时的 +1.89 拉宽到 256K 时的 +5.36,对齐倍数从纯模型的 8.0 倍提到 13.3 倍。
该泼的冷水
三件事必须一起看。
第一,规模。这批实验全部在 400M 到 600M 参数、10B 到 30B token 上完成,2048 上下文,LLaMA 式解码器配 GPT-NeoX 分词器。论文自己把结论限定在「测试过的配置里」,没有往更大规模外推。
第二,复现性。GSM8K 微调每个模型只跑了一个随机种子(seed 0),论文明确说不解读 Lattice 各变体之间的细小差异,只能解读与 Transformer 基线之间更大且一致的那道差距。循环骨干那部分的耦合方式还是事后挑的,论文自己提示增益应当读作「最佳耦合方式」的增益,而不是某个预先选定方式的增益。
第三,代码。项目页面上 Paper 与 Code 两个链接此刻都写着 coming soon,想上手的人现在还拿不到实现(项目页:https://shivamduggal4.github.io/latent-lattice-language-models/)。
所以呢
这篇论文值得带走的不是那 14.40,而是它把一个大家默认的前提摆到了台面上:扩展算力不只有「让每个 token 干更多活」这一条路,也可以走「让模型同时手握更多条活」。横向潜变量是一条独立于深度的算力轴,而且能和既有的残差流工程正交叠加。
对还在堆深度、加 KV 条目的团队来说,这提示了一笔此前算得少见的账:在不增加每 token KV cache 条目的前提下,提高每层维持的活跃状态数。至于这些数字能不能撑到真实的千亿参数规模,得等代码放出来,也得等别人在更大规模上重跑一遍。论文本身:https://arxiv.org/abs/2611.21608