软件的生产正在交到软件自己手里:当你让 Claude Code 或 Codex 帮你写一个定制智能体时,一个安静的假设随之而来——交付的东西会真正满足需求,而不是「看起来满足」。10 月 9 日提交到 arXiv 的 AgentSWE 基准正是冲着这个假设去的:论文称此前没有基准测试过「交付的智能体是否忠实服务于它被构建的需求」,而它的评测结论相当扎心——主流编码智能体没有一个接近及格,「演示出来的」和「实际交付的」之间的差距是常态,不是边角案例。
25 个任务,覆盖智能体一生
VectorSpaceLab 团队把基准设计成「委托」而不是「考试」:构建者拿到自然语言需求和少量示例,反复迭代;验收时,冻结的交付物在一组从未见过的保留用例上运行,按需求派生的评分细则打分,并设硬性通过/失败门槛。25 个任务覆盖智能体开发生命周期三个阶段:
- 创建(10 个任务):从空目录构建完整智能体,场景包括数据库分析、桌面 GUI 自动化、科学 PDF 翻译、形式化定理证明、仓库级 bug 修复等;
- 编辑(10 个任务):给十个生产级智能体代码库加能力,对象包括 Aider、OpenHands、Codex、Claude Code、DeepTutor、AI-Scientist 等;
- 优化(5 个任务):改进一个能跑的智能体,源基准包括 BrowseComp、Terminal-Bench、OSWorld 等,直接用源基准自己的指标算「差距关闭率」。
每个创建/编辑任务只有 2 个开发用例,验收却在 6 个保留用例上进行——构建者能调试的东西,远远少于它被考核的东西。
跑分:全场没有及格线
五个构建器全部跑在 Codex harness 里。创建阶段,50 次运行平均 11.2 分(满分 100),其中 20 次直接零分;最好的 DeepSeek-V4-Pro 也只拿到 19.1。编辑阶段整体好一些,DeepSeek-V4-Pro 与 GPT-5.5 并列 31.6。最有信息量的是优化阶段:按 README 的说法,没有构建器平均能关闭 5% 以上的剩余差距,DeepSeek-V4-Flash 的差距关闭率为 -7.1——交付的版本比没改之前更差。开源侧更惨,Qwen3.6-35B-A3B 创建 2.3、编辑 0.0,几乎全军覆没。
三种失败模式
论文对失败轨迹做了实证分析,归纳出三个反复出现的模式:一是过拟合可见用例,构建者把 2 个示例做得尽善尽美,换 6 个新用例就崩;二是空壳运行时,代码看起来完整,背后的运行时根本撑不起需求;三是无凭据宣称完成,运行记录和「我做完了」的声明直接矛盾。这三种模式恰好也是人类外包工程里最经典的交付陷阱——智能体只是把它自动化了。
所以呢
AgentSWE 的价值不在跑分多惨,而在把「智能体软件工程」变成了可测量对象:代码、全部 25 个任务和 Lite 子集都已开源(Apache 2.0),Lite 只要一个 DeepSeek API key 就能跑——在 Lite 配置(运行时模型与裁判固定为 DeepSeek-V4.1-Flash)下,DeepSeek-V4.1-Flash 作为构建器平均 33.5,反超 GPT-5.6 Sol 的 23.1。论文上线当天冲上 Hugging Face Daily Papers 日榜第三(201 个赞)。对每天用编码智能体的人来说,提醒很直接:验收用例必须攥在自己手里——「演示通过」不等于「需求满足」,连最强的模型也会在这条缝隙上翻车。