给一个 AI 智能体 4 小时预算和一份真实的专业工件,让它自己决定:这活儿一个人闷头干,还是拉起一队“分身”分头推进、最后拼成一份交付物?WorkflowArena 就是这样一间考场,而成绩最好的考生,完全交卷率也只有 36.95%。这份基准论文把过去只存在于架构图里的“多智能体编排”,变成了一场可以打分的考试。
考的是组织能力,不是做题能力
WorkflowArena 收录 145 道长程任务,横跨软件工程、企业运营、科研、形式数学、金融、法律、内容与设计、3D 制作 8 个领域、17 种任务形态,项目由 Navers Lab 与 Einsia.AI 资助。每道任务提供一个初始工作区,要求交付由相互依赖的部件组成的成品,再由隐藏的验证器打分——各部件单独看都正确、却没有整合成一致整体的答卷,过不了关。
协议设计是它最特别的地方:模型拿到一个 Workflow 工具,最多同时拉起 16 个 worker,每个 worker 都是它自己的全新实例;要不要派工、派几个、给每个 worker 什么上下文,全部由模型现场拍板,组织工作消耗的时间也从同一个 4 小时预算里扣。纯顺序单干同样是合法工作流。于是每一份交付物,都能和产生它的组织方式对上号。
成绩单:天花板 36.95%,偏科严重
论文评了 9 个模型、25 种“模型+档位”配置:Claude Opus 5.5 与 Sonnet 5.5 跑在 Claude Code 里,GPT-6 Astra 与 GPT-6.1 Sol 跑在 Codex 里,另外还有 GPT-6 Luna、Kimi K3.1 Pro、GLM-5.3 Flash、DeepSeek V4.1 Flash 和 Doubao-Seed-Evolving。
最强的配置是 Opus + Claude Code 最高档,平均完全解决率 36.95%,而且没有任何一种配置在全部 8 个领域同时领先。形式数学最接近饱和,最佳配置解决 95.83%;法律与金融的天花板分别只有 9.09% 和 18.75%。更刺眼的是“部分分”和“能交付”之间的落差:法律任务平均能拿 70.7 的连续分,完全过关率却只有 2.9%;Opus 高档在软件工程里连续分高达 96.98,完全过关率也只有 17.65%——模型写得出一篇大部分正确的分析,却很难交出一份全部达标的成品。评分上,内容与 3D 交付由 Gemini-3.8-Flash 按细则打分,其余领域用程序化验证器。中国模型在这张表上集体掉队:Kimi K3.1 Pro 16.48%、Doubao 10.84%、DeepSeek V4.1 Flash 6.08%、GLM-5.3 Flash 4.43%,与 Opus 差着明显身位。档位的敏感度也不一样:Opus 五档从 22.02% 拉到 36.95%,Astra 全程只在 27.34% 到 30.80% 之间波动。
会做题不等于会指挥
论文的关键实验是“换蓝图”:在 32 道高难度任务上固定执行模型(Kimi、DeepSeek、Luna、Doubao),只更换写工作流的模型。结果显示,Opus 写的工作流让四个执行模型全部提分,静态模式平均加 6.41 分——Kimi 从 35.75 涨到 46.61,DeepSeek 从 18.37 涨到 25.24。反观 Astra 的蓝图,静态模式平均掉 2.53 分,还同时拉低了 Kimi 和 DeepSeek,尽管 Astra 自己单打独斗(解决率 27.34%)远强于这四个执行者。把自己那摊活干好的能力,并不会自动转化成组织别人干活的能力。
两种“管理风格”也被数据拍实:高努力档下,Opus 平均每任务只开 0.86 个工作流、每个工作流带 5.55 个 worker,属于“少批次、大团队”;Astra 平均开 2.09 个、每个只带 1.72 个 worker,约 99% 的工作流不超过 4 人,典型的“高频次、小分队”。
所以呢
这份基准把“编排能力”从营销话术变成了可测量、可迁移的资产:同一批弱模型,接上好蓝图就能白涨 6 分以上。成本账同样直白:Opus 高档 6.66 美元/任务解决 34.11%,Astra 在 xhigh 档花 29.26 美元只解决 30.80%,成本贵 4.4 倍、成绩还低 3.31 个百分点。对做 Agent 的人来说,单模型跑分之外,组织能力是下一块战场;对选型的人来说,先想清楚你要雇的是“能干的员工”,还是“能带队的经理”。