大模型训练的"数据混合比"几乎是一门黑魔法——web、代码、科学文献的比例稍微变动,下游能力就天差地别。主流方法 RegMix 依赖一个隐式假设:数据池是静态的。一旦数据源被刷新或扩容,这个假设直接破裂——此前跑过的几百次小模型 proxy 实验全部作废,只能重头再来。 清华团队 7 月 1 日挂在 arXiv(2607.01104)的 CausalMix 换了思路:把数据池的统计特征视作"协变量",把领域混合权重视作"干预",整个问题就是一个标准的因果推断任务。他们用 512 次 Qwen2.5-0.5B 训练拟合条件平均处理效应(CATE),再把最优混合外推到 80 万文档的新数据池,直接训出 7B 模型,全程不再重跑 proxy sweep。 CausalMix 真正有意思的地方是它隔离了数据池变化带来的"混淆偏差"——拟合出的不是"哪组比例刚好赢了",而是"比例的变化如何因果地驱动性能"。同一框架还直接外推到 Qwen3-4B-Base 的长链思维训练,无需重新设计;在多项下游任务上稳定优于 RegMix 等基线。 对做训练 infra 的人而言,这是 7 月第一篇值得读的工作。最直接的卖点是成本:每个新数据池都跑一遍几百次小模型实验,在千万美元级预训练里不是小数目。CausalMix 让"调比例"第一次有可能与数据池更新解耦。代码目前在审核中,尚未公开。