电脑操作智能体(computer-use agent)这两年进步飞快,但训练环境一直是瓶颈:真机应用构建贵、覆盖窄,浏览器环境交互深度又不够。上海交大 10 月 8 日放上 arXiv 的 SoftwareGym 给出一条自动化路线——不手工搭环境,而是流水线合成软件应用,再用真实 GUI 交互验证。

两条老路的死胡同

论文开篇把现状讲得很直白:原生应用环境需要大量构建与集成工作,应用覆盖因此受限,还容易让模型过拟合到少数应用上;浏览器托管环境好部署,但交互深度和工作流复杂度有限——点得动网页,练不了桌面软件。环境稀缺,直接卡住了电脑操作智能体规模化监督信号的供给。

流水线:设计、实现、验证、返修

SoftwareGym 把"造软件"本身变成一条多智能体流水线,代码已在 GitHub 开源。给定软件类型(如 ChatAPP、PicEditor),流水线四步走:

  1. 设计:FunctionDesigner 写需求规格;StyleDesigner 与 SubStyleDesigner 产出多套互不相同的 UI 风格蓝图(Avalonia .axaml);IconDesigner 生成配套 SVG 图标集,带硬校验门;
  2. 实现:Coder 把蓝图落成可运行应用(.NET 8 + Avalonia 11),DevCoder 负责评审和就地修复,所有设计编码环节都跑在 Codex CLI 上;
  3. 验证:EvalTaskGenerateAgent 生成 GUI 测试用例,GUIEval 启动 OSWorld Docker 容器(真实 Ubuntu 虚拟机),由 GUI 智能体实际操作应用,输出每轮 summary.json;
  4. 返修:v1 到 v3 循环,每轮把上轮评测摘要与评审意见回灌给 Coder/DevCoder 增量修复。

一个工程细节:SoftwareGym 直接复用 OSWorld 的 Docker 虚拟机基础设施和 Ubuntu 桌面,验证用截图加 PyAutoGUI 动作,保证训练环境与下游评测条件一致——这也解释了合成环境学到的能力为何能迁移。

数字:182 个应用与一次域外迁移

论文报告的规模是:合成出覆盖 12 个类别的 182 个应用,平均 GUI 任务通过率 91.5%;配套发布 SoftwareGym-Bench,一个同样横跨 12 类的 120 任务评测套件。关键结果在迁移上——用这些环境里收集的轨迹训练模型后,在严格域外的 OSWorld 基准上 Pass@3 从 41.39% 提升到 56.97%,在自家 SoftwareGym-Bench 上拿到 40.0%。

该泼的冷水

复现门槛不低:README 明说 OSWorld 虚拟机基础镜像约 35 GB 且不随包附带;需要自装 Codex CLI(锁定 @openai/codex 0.156.1)、.NET 8 SDK 和 conda 环境;模型路由只认环境变量,设计编码阶段还要求端点支持 OpenAI Responses API。仓库目前 5 个 commit、16 stars,是典型的论文先行、工程刚落地状态。

这条路线的想象空间在闭环:合成环境、收集轨迹、训练更强的智能体,再用更强的智能体去验证更多环境。当"环境"从稀缺资产变成可再生物料,电脑操作智能体的数据瓶颈才真正开始松动。论文与代码:arXiv:2610.12611,GitHub 仓库 MrKiing-Jin/SoftwareGym。