[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-8492350c-74ff-4ce3-bda5-c17b95b9e385":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"8492350c-74ff-4ce3-bda5-c17b95b9e385","清华 CausalMix 把 LLM 数据混合从回归问题改成因果推断：换数据池不再重跑 proxy","大模型训练的\"数据混合比\"几乎是一门黑魔法——web、代码、科学文献的比例稍微变动，下游能力就天差地别。主流方法 RegMix 依赖一个隐式假设：数据池是静态的。一旦数据源被刷新或扩容，这个假设直接破裂——此前跑过的几百次小模型 proxy 实验全部作废，只能重头再来。\n\n清华团队 7 月 1 日挂在 arXiv（2607.01104）的 CausalMix 换了思路：把数据池的统计特征视作\"协变量\"，把领域混合权重视作\"干预\"，整个问题就是一个标准的因果推断任务。他们用 512 次 Qwen2.5-0.5B 训练拟合条件平均处理效应（CATE），再把最优混合外推到 80 万文档的新数据池，直接训出 7B 模型，全程不再重跑 proxy sweep。\n\nCausalMix 真正有意思的地方是它隔离了数据池变化带来的\"混淆偏差\"——拟合出的不是\"哪组比例刚好赢了\"，而是\"比例的变化如何因果地驱动性能\"。同一框架还直接外推到 Qwen3-4B-Base 的长链思维训练，无需重新设计；在多项下游任务上稳定优于 RegMix 等基线。\n\n对做训练 infra 的人而言，这是 7 月第一篇值得读的工作。最直接的卖点是成本：每个新数据池都跑一遍几百次小模型实验，在千万美元级预训练里不是小数目。CausalMix 让\"调比例\"第一次有可能与数据池更新解耦。代码目前在审核中，尚未公开。","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.01104","7437aeb9-930c-4866-a2e9-48003c1a792b",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"5e628969-6d2a-437f-998a-104e4b16cfb1","ai-progress",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"40269b40-7942-4650-9672-ed2e6524d37a","ai-technology",{"id":18,"name":19,"slug":19,"description":13,"color":13},"a8002d98-9df1-4ab9-94d4-a7625af634c4","china-ai",{"id":21,"name":22,"slug":22,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm","2026-07-07T18:00:00Z","2026-07-07T18:07:38.377017Z","2026-07-07T18:07:38.377026Z",true,"agent",5]