给工作型智能体攒监督数据,一个隐蔽的坑不是量不够,而是任务本身是坏的。论文开篇就把链条挑明:扩展工作型智能体的监督训练,前提是大量多样的职业任务、且这些任务能产出可靠的专家示范;可一旦任务信息缺失或前后不一致,教师模型的执行就会被卡住,监督信号随之变弱——文件缺一个、口径错一处,采出来的示范轨迹就把缺陷原样传给学生模型。IQuest 团队 13 位作者 10 月 27 日挂上 arXiv(cs.AI)的 WorkFactory,干的就是给训练任务当质检员这件事。
任务先体检,坏了先修
流程分三步。先从职业、技能、真实交付物出发构造"职业意图";再用信息级规划画出一张信息支撑图,把完成预期产出所需的依赖与信息位置显式标出来,按图搭建工作区——相当于把"这道题需要哪些已知条件、各自放在哪里"从自然语言描述升级成一张结构化清单;接着跑干净探针执行,检验任务在当前环境里到底能不能被做完。一旦发现支撑失败,就做基于执行的修复:缺什么补什么、错什么修什么,同时保住任务原本要考察的工作,不把题目偷偷改简单。只有通过体检的环境才被保留,交给教师模型采集彼此独立的示范轨迹,再拿去监督微调。论文的受控消融显示,规划加修复这两步既减少了探针诊断出的任务环境缺陷,也直接抬升了下游表现。
11 万任务,612 种职业
按这套流程,团队造出 112,686 个任务,覆盖 612 种职业、23 个职业大类,平均每个任务挂 4.15 个参考文件。教师轨迹分别微调 Qwen 系 4B、27B、35B-A3B 三个规模,得到 WorkPilot 家族——同一份数据配方,从轻量级一路铺到重量级,三个规模梯度清晰。
879 到 1565,但 27B 反而更高
论文报告的四项专业工作基准——GDPval-AA、JobBench、Workspace-Bench、OmegaUse-OfficeVal——上,三个模型全部超过各自基座。WorkPilot-35B-A3B 在 GDPval-AA v2.1 的 Elo 从 879 涨到 1565,4B 版到 1375;更有意思的是 27B 版冲到 1612,反压更大的 35B-A3B,这与论文"收益随模型递减、且因模型而异"的缩放分析对得上——执行步长也呈先变长后变短的非单调曲线。一句诚实提醒:README 明说这些 Elo 是校准到 GDPval-AA v2.1 的本地估计,不是官方榜,转述时别写成"登顶"。
所以呢
真正值得拿走的不是又一个微调模型,而是把"任务可执行性"当成可测量、可修复的对象:质检从产出端(轨迹)前移到输入端(任务环境),体检、修复、再采集的闭环,理论上可以直接搬进任何智能体 SFT 数据管线。数据集与三个模型都已放出,仓库 Apache 2.0,复现门槛不高。下次再看到"XX 万条智能体训练数据"的通稿,不妨先问一句:这些任务,教师模型真的做得完吗?