训练电脑操控智能体,最贵的从来不是模型,是那些「像人一样操作软件」的轨迹数据。主流做法是让模型自己试、自己攒经验,论文里叫 self-generated experiences,说白了就是自产自销:模型会什么,数据里就只有什么,收益越滚越薄。11 月 2 日挂上 arXiv 的 CUA-Master 换了个思路——互联网上现成的教学视频,本身就是海量真人操作演示。论文上线次日冲上 Hugging Face 论文日榜第二,拿到 90 个赞。第一作者 Xinlei Yu 领衔、共 18 位作者,把「数据从哪来」这个问题当成了论文主角。
两层飞轮,转的是开放世界
CUA-Master 的框架是嵌套双循环。外环是「世界-数据-模型」飞轮:持续引入开放世界语料,模型当前暴露的弱点反过来决定下一轮造什么数据、优化什么能力。内环管数据本身:一头从教学视频里挖真实工作流当种子任务,用视觉、语义双通道重建轨迹,把字幕里的语义触发器和画面变化检测相交成边界结构;另一头做自催化传播,把种子抽象成可复用的能力原语,再按 K 个原语 × N 个应用组合出可控、可验证的新任务。采集轨迹时还有个值得抄的工程细节:快照回滚重试——agent 走岔了就回滚到上一个快照接着试,而不是整条轨迹作废。
按 GitHub 仓库的配置,种子挖掘覆盖 8 个领域、36 个子领域、650 多个应用,视频会先过一道 0-5 分的 CUA 适配度打分,不合格的直接不进管线。
27B 的成绩单
CUA-Master-27B 在纯 GUI 和 GUI+CLI 混合两类基准上都交了分:OSWorld Verified 80.2,OSWorld 2.0 为 36.9,WeaveBench 43.9,Agents' Last Exam 25.0。摘要的措辞是 competitive——有竞争力,没吹霸榜。更值得注意的是 80.2 和 36.9 之间的落差:更难的新基准上,整个赛道都还有大坑要填。论文同时报告递归迭代持续涨分,数据合成的质量和效率也在提升。
开源交付相当实在:代码、配置、提示词、VM 镜像管理都在 GitHub 仓库,训练数据转 ms-swift 的 SFT 格式,RL 阶段直接拿任务级验证器当结果奖励,README 里还挂出了 Hugging Face 上的 CUAMaster-27B 模型入口。仓库几天内攒到 86 stars。
真正的信号:数据供给换源
这篇论文对行业的价值,不在某个分数,而在把 CUA 的数据供给从「模型自我博弈」切到「开放世界语料」。自产自销的天花板是模型当前的能力边界;教学视频这样真人在真软件上操作的语料,天花板是人类已经发布过的全部操作知识。配上可验证的任务合成,数据质量不再靠感觉,由验证器兜底——它同时就是 RL 的奖励来源。
对做 agent 数据的团队,这是套能拆开抄的工程蓝图:视频挖种子、原语组合造任务、快照回滚省算力,三个模块独立成立。对看赛道的人,判断标准很简单:谁先把「开放世界数据 × 递归改进」的飞轮转起来,谁就先把 CUA 的数据成本打下来。