一份 1911 年的百科全书，和一套面向儿童的语料，喂给同一个 58M 小模型，出来的榜单是反着的。
语法题上童声语料全胜，状态追踪题上那套老百科反手领先——两边差距能拉开二十多分。而这背后不是换了 tokenizer、不是改了优化器、不是偷偷多训了几轮：架构、训练配方、评测协议全部对齐，唯一的变量是"读什么"。
一个刻意做窄的对照
实验设计得非常克制，就两个语料：1911 年《大英百科全书》第 11 版（从 Wikisource 抓了第 1–28 卷，剔除索引卷，公有领域），以及 BabyLM 2026 strict 语料（儿童向语音、对话、简化版维基、转写语音的异质混合）。两档词数预算：1000 万和 3700 万词。
模型分三层。教师端，10M 档用 Llama-360M、GPT-2-705M、GPT-J-705M 三个，37M 档用前两个；学生端是 58M 的 Baby-Llama，同时跑了知识蒸馏（KD）和不蒸馏（no-KD）两条线，用来把"语料效应"和"蒸馏效应"拆开；训练种子取 2023 和 43 两个。整套跑在一张 A40 上，fp16。
评测全部 zero-shot：BLiMP（67 个最小对任务）、BLiMP Supplement、EWoK、Entity Tracking、COMPS。
有一个坑必须点出来：词数对齐不等于 token 数对齐。每个 track 单独训 16,000 词的 BPE，Britannica 是 1.42 token/词，BabyLM 是 1.95，同样 1000 万词下 BabyLM 拿到的 BPE token 约为对方的 1.37 倍。论文后面专门做了"匹配曝光量"的对照来堵这个口子。
20 组配对比较：语法全胜，追踪反手
论文报告的结果是一个被复现的排名反转。所有 20 组配对的 BLiMP 比较，全部偏向 BabyLM 2026；Entity Tracking 的 20 组里有 18 组偏向 Britannica，只有两行反转。
默认的 Llama+GPT-2 蒸馏学生，两个种子取平均：1000 万预算下，BLiMP 差 +7.64±0.79，Supplement 差 +10.83±0.86，Entity Tracking 差 −19.63±3.73；3700 万预算下则是 +10.55±0.33、+7.08±1.89、−4.88±0.25。
绝对分更直观。1000 万预算的蒸馏学生：Britannica 的 BLiMP 64.69 / Entity 37.10，BabyLM 是 71.76 / 14.83。3700 万预算：BabyLM 76.27 / 17.10，Britannica 65.95 / 21.80。
Entity Tracking 是二选一，随机水平 20%。BabyLM 的不蒸馏学生拿 23.14（勉强高于随机），上了蒸馏反而掉到 14.83（低于随机）；而 Britannica 的蒸馏学生拿到 37.10，比它自己的两个教师（26.13 和 25.38）高出约 11 分。
蒸馏是放大器，不是元凶
no-KD 对照把因果链摆得很清楚：1000 万预算下，不蒸馏时 Britannica 26.11 对 BabyLM 23.14，差约 3 分；加了蒸馏变成 37.10 对 14.83，差约 22 分。蒸馏没有制造这个对比，而是把它放大了——论文的措辞是蒸馏"amplifies the corpus-level Entity Tracking contrast rather than reducing it"。
那会不会只是学生在继承教师集成？论文直接测了这个假设：1000 万预算下 Llama+GPT-2 的 logit 平均只有 25.15，学生 37.10，高出 +11.95，"KD 直接继承集成"这个解释不成立。但到了 3700 万预算，集成 23.85 反而压过学生 21.80——说明这个放大效应是预算特有的，不是"Britannica + 蒸馏"的通病。
另外两个对照同样稳：把 BabyLM 的优化步数砍到与 Britannica 对齐（Llama 3,472 步、GPT-2 2,604 步、学生 20,826 步，序列呈现量对齐到 0.03% 以内），可接受性优势在四个模型家族里全部保留，Britannica 的 Entity 优势在两个教师和核心 KD 对比里也保留，只有 no-KD 那一行反转成 +1.28；再把上下文拉到 256 token 重测一遍，排序和师生模式在两种上下文长度下都成立。
为什么这事值得当真
第一，单一总分是个坏指标。 论文的结论句说得很直白：只报 BLiMP，会一路偏向 BabyLM；只报 Entity Tracking，又常偏向 Britannica。多基准评测才看得见"能力画像"，而不是一个被平均掉的数字。
第二，语料不是"量"的问题，是"形状"的问题。 换一个读的东西，能同时造出两个方向相反的强项。这对当下动辄万亿 token 混语料的做法是个提醒：混得越匀，画像越糊。
第三，小模型时代语料的杠杆被低估了。 整台实验的算力账单并不吓人：1000 万预算下，58M 蒸馏学生要跑 4–6 小时，不蒸馏只要 0.5–0.8 小时。你完全负担得起多做几组语料对照。
边界必须说清楚
作者自己列的限制很实在：只有两个语料（n=2），语料结构与能力画像的关系只能算"提示性"而非结论性；学生侧只用了单一 58M 架构、单一 BabyLlama 蒸馏配方、zero-shot 评测；全量配对只有两个种子，Entity Tracking 的幅度对种子敏感，两行非 KD 对比在 seed 43 上反了方向。还有一条常被忽略：Entity Tracking 测的是合成语篇里的状态追踪与指代消解，而不是百科知识——大英百科赢在这里，并不等于它"知道得更多"。伦理上，1911 年的文本带着明显过时的观点，论文也提醒，这个对比不该被当成推荐用这套语料去做面向用户的模型。
所以呢：当你手上只有一个榜单、一个总分的时候，你其实并不知道自己养出了一个什么形状的模型。要判断语料选得对不对，得再拉几条互相不相关的尺子来量。
论文：arXiv:2611.07812（EMNLP 2026 第二届 BabyLM Workshop）；代码与配置：EdoardoVaira/babylm-corpora-skills；ACL Anthology 条目：2026.babylm-main.33。