让 AI 接管后训练流程已经不是新闻,但把它真正跑通的研究者观察到一个尴尬现象:把完整训练栈交给语言模型智能体,它几乎总是收敛到监督微调(SFT),而且把大部分精力花在同一件事上——改训练数据。论文页面关联 TsinghuaNLP 实验室、代码组织为 Thinking-Space 的团队把这个问题摆上台面,发布了 AutoSFT,一个专门自动化 SFT 数据研究的多智能体系统,论文已挂 arXiv(2610.22194,27 页 16 图)。
单智能体的失败模式
论文首先点出既有系统的局限:现有工作只给智能体一种控制手段——要么从固定数据池里选行,要么调用生成器;而人类数据工程师的动作要丰富得多,会调整配比、剪枝、修复、替换、再合成。作者为此设计了一个覆盖这些操作的数据动作空间,先让单个智能体去跑完整研究循环。结果它只学会一种动作:调整类别配比,上下文还被执行日志塞满,搜索中途就被丢弃。
三层分工:执行、分析、合成
AutoSFT 的解法是多智能体分工:元智能体把执行与分析分离,从多个独立角度收集修改建议,再调用合成子智能体补齐数据池覆盖不到的能力;模型、训练器、预算在每轮对比中固定。消融实验逐个组件验证:执行器让上下文丢失减半,分析子智能体把 IFEval 最佳成绩抬了 6.5 分,合成环节再加 3.4 分 IFEval 和 2.9 分 IFBench。同一套循环迁移到代码任务,分析组件在 MBPP+ 上比毫无提升的单智能体基线高出 3.7 分。值得注意的是,每轮结果都从基座模型重新训练,各组件的贡献因此可以单独归因。
评论:动作覆盖比单一强度更重要
这篇论文(arXiv:2610.22194)最值得带走的结论是作者自己的总结:自动 SFT 数据研究的进展,更依赖覆盖多样的数据动作,而不是把单一动作做得更强。这跟人类数据团队的工作方式一致——配方、清洗、补短板各有专人。作者在社区讨论区把它定位为"迈向 RSI-Service(后训练的自主科研服务)的第一步",野心不止于数据管道自动化。需要泼的冷水也很明确:GitHub 仓库(Thinking-Space/AutoSFT)目前只有描述页,源代码标注 coming soon,第三方复现暂时无门路,以上数字均为论文自报。对做后训练的团队来说,现阶段更有参考价值的是框架设计本身——分离执行与分析、显式建模数据动作空间,这两条在任何数据团队里都能直接借鉴。
所以,下次看到"AI 自动改进 AI"的叙事,先问一句:它的动作空间覆盖了几种数据操作?AutoSFT 给出的答案是靠多智能体分工换覆盖面,这个方向值得持续盯。