小模型的账单不在参数量上,在数据上。
论文《Folding Language Models into Themselves》(arXiv:2611.18113,2026 年 11 月 13 日提交到 cs.CL,作者来自北京大学、佐治亚理工学院、清华大学和 Lovart AI)开篇就点明:开放模型家族里最小的成员也要用数万亿 token 预训练,因为学生从零开始学,得把老师已经会的东西「重新学一遍」。这篇工作换了个思路——别重学,直接把老师折起来。
折法:相邻层折成一个循环块
Concertina 把老师的每 N 层相邻层折成一个共享块,这个块连续跑 N 次。Qwen3-4B 有 36 层,N=2 时折成 18 个块,参数量 2.27B,是老师的 57%;N=3 折成 12 块,1.70B。
光共享权重不够用,一个块要同时扮演 N 个角色。论文加了两层设计。
一是逐步低秩修正。每个循环步带一个低秩修正,初始值不是零,而是原层权重与共享权重之差的截断 SVD,秩取 64。于是第一步精确等于原第一层,后面每步从自己那一层的方向起步,折出来的模型一开始就贴着老师。
二是按 token 决定的门控。固定修正对所有 token 一视同仁,但同一个步上不同 token 需要共享块表现不同。门控由隐状态算出来,混合各步修正。18 块模型的门控只占 1.9M 参数,0.08%。训练完后,门控在第二个步上仍让约 60% 的 token 保持原来的一一分配,主模型跑完 22B token 后约 30%。
主结果:2.27B 留住八成
评测用八个基准:base-7 是 ARC-C、ARC-E、HellaSwag、PIQA、OpenBookQA、WinoGrande、LAMBADA 的均值,另加 MMLU、MMLU-Redux、MMLU-Pro、GPQA-diamond、BBH、GSM8K 和 MATH。
论文实测:老师 Qwen3-4B 在 36T token 下 base-7 是 0.630、GSM8K 0.879、MATH 0.566;Concertina 2.27B 只蒸馏 22B token,拿到 0.580、0.788、0.498,换算成老师的百分比,常识 92%、GSM8K 90%、MATH 88%、八项平均 84%。最难的一档是 MMLU-Pro,只留住 75%。
同家族的 Qwen3-1.7B 用 36T token 预训练,八项里 Concertina 在六项上更高,MMLU 和 MMLU-Redux 差距都在 0.4 分以内。关键对比不是分数,是 token 预算:36T 对 22B,差一千多倍。
数据曲线不线性。2.2B token 时平均恢复率 64%,15.4B 时到 84%,之后走平,最后 7B token 里多数基准变化不到 1 分。11B token 时 Concertina 已在 base-7、BBH、GSM8K 上超过 Qwen3-1.7B,MATH 要到 13.2B token。
同尺寸下,深度比参数更值钱
对照组是同尺寸稠密模型:保留 Qwen3-4B 的 36 层里的 19 层,2.31B 参数,不用循环、不用修正、不用门控,两者从同一起点蒸馏同一份 20B token 的通用、数学、学术文本(比例 25:35:40)。
论文对照实验里,截断版在生成上几乎塌掉:GSM8K 0.017、MATH 0.038,而 Concertina 是 0.718 和 0.408,MMLU 家族高 8 到 11 分,BBH 高 4 分,MATH 高 11 倍,GSM8K 高约 41 倍。只有 GPQA 落后 1.5 分,在 198 道题的噪声范围内。
论文对现象的描述很具体:截断模型常算对了值,然后开始重复自己,说不出答案。
配比比数量更要紧
同一个 2.27B 折叠、同一预算附近,三种配比给出三个结果。通用加数学加学术文本,20B token,平均恢复率 75.6%;再加入多领域网页文本,22B token,78.6%;论文的定向配比——四分之一给多学科选择题、其余含合成数据——同样 22B token,83.6%。
多出来的分集中在离老师最远的地方:MMLU-Pro 涨 4.9 分,BBH 涨 3.6,GSM8K 涨 4.8,MATH 涨 6.0,base-7 只动了约 1 分。论文的解释是,折出来的模型保留了老师大部分知识,但丢了部分读出它的路径,每类数据修的是自己那条路。覆盖什么比有多少更要紧。
与前人折法的对比
前人在这条路上走过。Bae 等人的 RRT(arXiv:2410.20672)把预训练模型转成跨层共享的递归模型,再加深度方向的低秩适配;Liu 等人的 FoldGPT(arXiv:2407.00928)先删块再让同组块共享权重,配尾层蒸馏。论文在同一个 Qwen3-4B 上复现了它们的公开配方。
同等 197M token 下,base-7 是 Concertina 0.498、RRT 0.415、FoldGPT 0.410。RRT 喂到 2B token 也只到 0.480,仍低于 Concertina 用十分之一预算的结果;FoldGPT 从 197M 到 2B 只涨 0.020,困惑度停在 20 附近,因为它冻结骨干、只训了约 8.8M 参数。十一任务均值同序:Concertina 在 197M 时 0.385,RRT 和 FoldGPT 到 2B 分别是 0.373 和 0.335。
消融把差距拆成两轴。绑相邻层得 0.498,RRT 那种隔 L/2 配对得 0.468,差 4.7 分;原因论文算了出来——相邻层对的残差更新平均余弦相似度 0.43,隔 18 层配对的只有 0.21。另一轴是门控对静态 LoRA:490M token 时 GSM8K 从 0.189 升到 0.235,MATH 从 0.124 升到 0.142。
更大的老师,与方法的边界
Qwen3-8B 用 N=3 折成 3.68B,是老师的 45%,22B token 蒸馏后常识保留 91%、GSM8K 83%,MMLU、MMLU-Redux、GPQA 和 MATH 约四分之三。方法和折叠比例都不挑模型规模。
但论文划的边界很实在。折叠省的是参数存储,不是算力:每块仍要跑 N 次,前向 FLOPs 和 KV cache 都保持老师的完整深度水平。它对内存受限设备友好,却不省推理时间。实验只覆盖 Qwen3 家族的 4B 和 8B,没测别的模型家族,也没测各引擎下的实际延迟。评测本身也有天花板:MATH 只在 1,250 道题的子集上评,GPQA-diamond 只有 198 道题。
所以呢
深度和参数不是一回事。论文的说法是,层与层之间的冗余存在于功能而不是权重里——相邻两层的权重差异接近满秩、范数也更大,但它们往残差流里写的东西方向接近得多。
这机制在别的团队那里有独立佐证。Saunshi 等人从循环结构本身出发,发现 k 层循环 L 次在很多推理任务上能接近 kL 层的非循环模型,并给出了推理与记忆的二分;FoldGPT 那边的作者也独立观察到多数层的输出高度相似,深度方向存在可观冗余。不同的人从不同入口摸到同一块地形,这比单篇论文的自证更有说服力。
所以值得琢磨的顺序大概是:先问「这个能力需要几步」而不是「需要多少参数」,再看手上的数据覆盖的是不是那条还没修好的路径。也别忘了折叠只换来了参数,没换来延迟——这恰恰是最容易被标题盖住的另一半。
代码和 2.27B 权重已发布在 https://github.com/myboker/concertina ,论文见 https://arxiv.org/abs/2611.18113 。