现有 agent 基准有个共同前提:任务定义是完整的——issue 报告、规格文档、任务工单,agent 照着做就行。真实世界的客户交付不是这样:需求模糊,约束没人写下,系统正在运行。10 月 15 日提交到 arXiv 的 FDE-Gym 基准正是冲着这个缺口来的,论文页上线即冲上 Hugging Face 日榜,拿到 285 个 upvote。
基准怎么设计
FDE-Gym 由 DeepLethe 团队的 26 位作者构建,包含 95 个端到端交付任务,来自 20 个客户场景、覆盖 18 个行业,每个任务都由行业专家从真实交付项目改编,领域横跨银行、医疗、物流、制造、能源等。Agent 被放进前置交付工程师(FDE)的位置:在模拟客户环境里与脚本化的干系人交互——发消息、试运行、等待都要扣分——并在类生产系统上改出能用的方案。
评分不看 agent 做了什么,只看客户的数字变好多少:归一化到 0-1,0 是什么都没改,1 是专家参考解。GitHub 仓库(开源,Apache 2.0)给出更直观的口径:百分制下 80 分才算通过,生产出事故直接归零。
结果:信息不是瓶颈,交付才是
团队评了 7 家厂商的 13 种模型配置。在现实设定下(未言明约束必须自己发现),最好配置平均分只有 0.56,95 个任务里仅 14 个拿到 0.8 以上且无事故。
两个发现值得展开:
- 发现未言明约束是首要瓶颈:论文作者自述,把这些约束藏起来,头部模型平均掉 0.28 分;而误导性的需求描述,代价只是再多掉一点。
- 知道不等于做到:在最好配置成功从干系人处拿到全部关键事实的 23 个任务里,也只有 10 个达到 0.8 以上的业务提升。信息收集解释不了全部差距。
更扎心的是,弱配置经常把客户系统改得比不动还糟。
所以呢
这份基准给当下的 agent 榜单热泼了盆冷水:SWE-bench 类「任务卡式」评测的高分,与真实客户环境里的交付能力之间,隔着一整条鸿沟。对采购方,FDE-Gym 式的评测——按客户 KPI 打分、沟通有成本、事故一票否决——比榜单排名更接近该问的问题。对个人开发者,项目方还开了在线练习平台(11 月 1 日对人类用户开放),把 FDE 技能做成了可刷题的训练场:写代码交给 agent 之后,「问对人、找对真问题、为线上结果负责」反而成了人的护城河。
参考:arXiv:2610.22350 (https://arxiv.org/abs/2610.22350)