GPT-6 Astra 把「AI 操作电脑」推成前沿能力,但那套系统是封闭的——外界只能看 demo,没法拆开研究。阿里 MAI-UI 团队给出了一个对位答案:开源项目 OpenGCUA,目标是把通用电脑操控智能体(Generalist Computer-Use Agent)的全栈开放给社区,首个版本已随技术报告(arXiv:2610.22200,https://arxiv.org/abs/2610.22200)一起放出,代码以 Apache-2.0 许可发布在 GitHub 的 Tongyi-MAI 组织下。
不止「截图-点击」:GCUA 换了一种用电脑的方式
团队把 GCUA 定义为一个自己决定「怎么观察、怎么行动、怎么组织工作」的系统:它读无障碍树、调用应用 API、跑 shell 命令,只在必要时才碰 GUI。这对应他们观察到的转向——评价标准从「模型把 GUI 点得多好」变成「系统用一切可行手段把活干完」。
两项核心设计
一是代码执行:GUI 操作被写成代码,和 API、shell 调用揉进同一个程序里,循环、分支、中间结果直接驱动下一步。二是 harness-to-model 决策转移:把观察与任务状态决策从固定的 harness 规则挪回模型侧——harness 只提供机制,什么时候要截图、什么时候切工具由模型自己判断。
数据:八个前沿模型全部上涨
OSWorld-v2 基准上,GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash 等 8 个模型平均分从 45.3 涨到 64.9(+19.6),平均步数下降 53%;GPT-6 Astra 单模型步数从 102 降到 34。弱模型受益最大:GLM-5.3-Flash 涨 35.2 分,DeepSeek-V4.1-Flash 涨 29.8 分,最强与最弱模型的差距从 39.1 分缩到 18.0 分。消融还显示,同样给 GUI 和 shell 权限,把操作写成代码比 GUI+CLI 智能体再高 6.1 分、步数再省 14.8%。
真机泼的冷水:19.4 倍 token 差距
更有信息量的是真机侧。固定 harness、跑四项 macOS 任务时,Qwen3.8-Max 消耗的推理 token 是 GPT-6 Astra 的 19.4 倍,完成的任务还更少。团队把这个差距归因到模型行为本身,这正是他们下一版要开源的 GCUA 模型要解的问题。
所以呢
这个版本开放的东西包括:实现与提示词、8 个模型的全部评测轨迹、macOS 真机 harness(菜单栏应用)、跨设备 SDK 预览。对研究者的价值很直接——前沿 CUA 的设计第一次可以被系统性复现和改进,而不是隔着 demo 猜。对行业的提醒也很直白:同一套 harness 下,模型间的真实执行效率差距比榜单大得多,选型时「能不能干」之外还要看「烧多少 token」。项目地址:https://github.com/Tongyi-MAI/OpenGCUA