训练跑起来了:loss 非零、参数在更新、曲线还在往下走。按任何常规验收标准,这个智能体都算把活干完了。
论文(arXiv 编号 2611.14364,上海人工智能实验室、复旦大学、华东师范大学、上海交通大学、中国人民大学、北京大学六家机构,11 月 10 日挂出)里那个叫 CylindFormer 的案例,把「跑通」和「修对」的差别摆到了明面上。图像-点云配准训练被修到能继续跑,两次执行都满足「训练恢复、loss 非零、参数在更新」这一组条件,但一条通过了全部 20 项检查,另一条只过 16 项——后者悄悄改了坐标处理、重叠标签和匹配损失,而这些是参考论文里写死的方法要求。论文特意限定了一句:这个对比说的是修复过程中的方法一致性,最终配准精度如何,尚未单独测量。
基准长什么样
ARE-bench 的题目不是编出来的,是切出来的。作者招募了真实研究者,拿他们自己项目里跑过的智能体会话做骨架:每个任务锚定一句真实用户请求,把之前仍然生效的请求压缩成 Background 段,完整工作区原样回放到那个时刻,不做清理。75 个任务横跨调研、设计、数据与环境、代码、执行、分析、写作七个研究阶段,落到 33 条需求、150 个子需求上(完整分类体系含 207 个子需求),最终编译成 1,173 条二元检查项,平均每个任务 15.6 条。
回放后的工作区平均留 41.1 个文件,65.3% 的任务里带着此前智能体自己写下的文件;36.0 轮旧对话被压成一段状态摘要,其中引用平均 10.3 条仍然有效的早期请求。每个任务平均 2.5 个交付物,指令长 1,677 字符。
一把尺子量出两个分数
七个前沿模型,每个任务跑三次,共 225 次运行,判定由 GLM-5.3 裁判模型给出。按实例成功率算(所有适用检查项必须全过),GPT-6.1-Sol 为 66.22%,Claude Opus 5.5 为 56.89%,DeepSeek-V4.1-Flash 39.56%,Qwen3.8-Max 37.78%,GLM-5.3-Flash 30.67%,Kimi-K3 28.00%,Qwen3.8-27B 25.78%。跑在头部的那个,仍有约三分之一的运行没能满足全部要求。
真正扎人的是 Table 8 那组对照:交付物和逐项判定一个不动,只改「哪些检查项算数」。DeepSeek-V4.1-Flash 只查交付契约与通用规范时是 69.33%,加入历史要求和工作区/材料要求后掉到 40.00%,按完整清单算是 39.56%;GLM-5.3-Flash 是 69.33% → 31.56% → 30.67%;Kimi-K3 是 69.78% → 28.44% → 28.00%。DeepSeek 与 Kimi 之间的差距从 0.44 分被拉开到 11.56 分。
卡住交付的是正确性
按维度拆开,正确性是七个模型共同的最低项:正确性实例成功率区间 31.11%–71.11%,完整性是 72.00%–87.56%,约束合规是 79.11%–93.78%;85.5%–92.8% 的失败运行里至少含一条没满足的正确性项。DeepSeek-V4.1-Flash 的完整性 CSR 有 93.16%,正确性 ISR 只有 47.11%,整体 39.56%。
阶段之间的落差同样明显:Kimi-K3 代码能力排第三、73.96%,执行和写作却只有 47.47% 和 47.31%,后者在七个模型里垫底。设计与执行则是所有模型都最难啃的两段。
更贵不等于更靠谱
按论文的冻结价格,GPT-6.1-Sol 每次运行约 2.17 美元,Claude Opus 5.5 约 5.69 美元,贵 2.62 倍,实例成功率反而低 9.33 个点。便宜的 GLM-5.3-Flash 每次约 0.20 美元拿到 30.67%,DeepSeek-V4.1-Flash 约 0.53 美元拿到 39.56%。上下文长度同样不作数:Claude Opus 5.5 峰值上下文 104.71K、Qwen3.8-27B 是 108.02K,两者接近,实例成功率却差 31.11 个点。
作者自己泼的三盆冷水
论文的局限章节写得很实在。跑法不统一:GPT-6.1-Sol 用 Codex harness,其余六个都用 Claude Code,所以跨模型差异反映的是模型与 harness 合起来的效果。评判也不是纯客观:rubric 仍是人工判断,裁判分歧集中在同一个方向、主要是重排相邻名次,独立人工标注被列为下一步。样本也未必代表全体:源会话可能过度集中于某些项目、工具和研究者群体,切点采样不保证覆盖所有研究工作流,回放与依赖恢复还可能丢掉原始研究者当时看得到的上下文;上下文与工作区各自贡献多少,要等后续消融才能拆开。
论文对整份结果也留了限定:这些分数应被读作对这套已发布任务分布的证据,而非普适结论。顺带一提,论文开篇拿 Qwen 团队自报的 Qwen3.8-Max 在 PaperBench Code-Dev 上 93.0% 作反例——那个变体不检查执行,也不检查论文的实证结果有没有被复现。
所以呢
这套设计真正的价值不在于又添了一个分数,而在于它把「智能体有没有把项目往前推」和「智能体是不是把项目改跑偏了」拆成了两件可分开算的事。交付物齐了不等于方法没被偷偷换掉——CylindFormer 那两次执行,训练都跑起来了,区别就卡在 20/20 和 16/20 之间。
论文:https://arxiv.org/abs/2611.14364 ;项目页:https://arebench.com