Transformer 层序不再写死:换条路由就换解法

程序员写代码,是把条件语句、循环这些可复用原语按不同顺序拼起来,得到不同算法;语言模型恰好相反,不管输入什么,几十层 Transformer 永远按写死的顺序执行。11 月 2 日挂上 arXiv 的 32 页论文 Library of Layers 把这条铁律拆了:层库架构(LoL)让模型在推理时自己决定层的执行顺序,作者是 EPFL 的 Pascal Frossard、NYU 的 Micah Goldblum 等六人。

层库:执行顺序从设计变成决策

LoL 分三段:开头的 prelude 和结尾的 coda 是固定层序,中间的 routed core 从一个装有 L 个 transformer 块的「层库」里,由路由器逐窗口挑选并排列出本次前向传播的执行序列。库存 L 和执行深度 D 是两个独立旋钮:L 压小就是循环 transformer(同一批层反复重用),L 拉大就是稀疏 MoE(多数块闲置),论文由此把稠密、深度循环、MoE 三类架构收进同一个家族。360M 模型采用 4 层 prelude、16 步路由深度、4 层 coda;训练用 growing 技巧先浅后深,大部分算力花在浅模型上,最终仍得到深层模型。

路由路径可读,也可控

可解释性实验更有意思。360M 模型在 10 种语言等比混合的 FineWeb-2 数据上训 100 亿 token 后,把路由选层序列做 PCA 投影,不同语言自动分簇,拉丁字母语言走相近路径——同一批层,换语言只是换执行顺序。8×8 迷宫上,BFS、DFS、A*、双向搜索、死路填充五种算法的输出语法完全相同,只差访问格子的顺序;LoL 为它们学出五种不同层序,推理时强制其中一条路由路径,模型就以接近 100% 的准确率按指定算法给出轨迹。数独同理:强制路径即切换五种解题策略。安全实验里,模型在带危害分数的网页文本上训练但看不到标签,事后只用路由概率训一个线性探针,序列级 AUROC 0.95 区分安全与不安全文本。

性能不牺牲

1B 参数、16 层(4+8+4)的模型在 Nemotron 与 OpenMath 混合数据上训约 90 ExaFLOPs,ARC-Easy 50.3、PIQA 59.7,五项基准与稠密基线的差距全部落在两个标准误以内,ARC-Easy 还明显超过全注意力稠密模型(40.8)。360M 的层库尺寸扫描显示:对循环 transformer 基线 Huginn 竞争力相当;对 3:2 稀疏 MoE,训练损失 2.8 对 2.75,论文引用先前工作指出,损失略高与下游表现强劲并存并不罕见。

所以呢

离产品确实还远,但它开了两个口子:其一,测试时扩展——推理时的执行深度可以超过训练时,层序架构天然留门;其二,可控性——换条路由就换解法,未来的对齐工作也许不用改权重,改路由就行。当模型开始自己组织计算图,「架构」这个词的含义正在变松。论文见 arXiv:2611.03526。