当所有算力涌向 decoder 时，dmis-lab 做了件逆行的事：用累计超 70 万亿 token 的消融重审了 BERT 时代的编码器预训练配方——结论是老配方一直在错位烧卡。UltraBERT（150M/380M，Apache 2.0，原生 32K 上下文）就此让单一编码器登顶两榜：380M 版 91.0 GLUE、47.7 BEIR。
编码器的老问题
编码器至今是性价比之王：RAG 管线用它做嵌入，FineWeb-Edu 靠它过滤质量，双向读一遍直接出向量，推理天然便宜。但顽疾是 GLUE 第一从来不是 BEIR 第一——架构早追上来了，训练配方还停在 10B-100B token 时代。
70 万亿 token 换来三条规律
团队在 150M/380M/1.3B 三档规模上同数据训练、同流程评测，累计消融超 70 万亿 token，最长单次 8.8T：
其一，decoder 一直涨，编码器会饱和：GLUE 和 SQuAD 约 1-2T token 进平台期，BEIR 更早，训练 loss 却一路降到 8.8T，多烧的卡基本白烧。
其二，mask 率分裂：低比率（约 5%）利好分类，高比率（约 50%）利好检索，与旧结论相反。
其三，带剪枝的蒸馏只在低 mask 率提升分类，高比率反而损害检索。
解法：一个编码器，两个 LM head
混着训的直觉做法不行：均匀采样表现得像平均值，ratio 衰减拿不回低比率的分类质量（GLUE 88.8 对 89.5）。原因是两种 mask 率下输入嵌入几乎一样，LM head 要的形态却完全不同，共享即打架。
解法是 LM head 解耦：batch 按 4:1 混入 5% 与 50% mask 序列，主体共享、各配独立 head。150M 编码器就此拿到 89.4 GLUE 与 45.1 BEIR：分类匹配最佳单比率（89.5），检索反超（45.1 对 45.0）。再叠加级联蒸馏（1.3B 教师→380M→150M，学生直接学教师）；5% head 吃 KL 损失，50% head 用标准 MLM。训练 2T token，尾部 100B 切 32K 长上下文，2.5% 指令份额让基座零样本跟 MCQA 提示。
成绩单
两个尺寸各拿下 10 项基准中的 9 项第一，提升最猛的是推理型检索（base 尺寸 RAR-b Code/Math +7.3/+8.3）。380M 版 91.0 GLUE、47.7 BEIR，作者称（to our knowledge）这是首个在分类与检索同时 SOTA 的编码器；passkey 测试在 32K 全长保持 99%。配套 UltraBERT-Embed-150M 经两阶段对比训练（约 5 亿弱监督对 + 570 万精选难负例），MTEB(eng, v2) 67.24，为 200M 以下稠密模型最高分。
所以呢
最值钱的不是榜单，而是算力分配地图：编码器 1-2T token 到天花板，decoder 的 scaling law 不能照搬，做嵌入、过滤、质检的生产线值得按饱和点重算预算。官方博客里还有一层信号：Jev 类决策模型（读一遍、从固定选项挑一个、不生成）正让编码器本行重新吃香，微软 Decision-1 也建在 Qwen3.5-9B 上。编码器复兴不是怀旧，是成本结构在说话：当生成越来越贵，「不生成」本身就是竞争力。
参考：arXiv:2610.15028（huggingface.co/blog/dmis-lab/ultrabert）