一个基准跑出两个数，中间差着 43.5 个百分点。Co-Design Bench 从 26,314 段真实用户的编程会话里挑出 273 个「改应用」任务来考十个编码 Agent 端点，论文自己跑出来的最好成绩是：逐条验收准则平均过了 69.9%，但真正把任务完整交付下来的只有 26.4%。换句话说，七成以上的任务里至少还留着一两条没做到的要求。论文原文
真实请求长什么样
这个基准的题不是编出来的。从 26,314 段真实编程会话里的 39,325 条生产查询出发，去重后剩 37,463 条，再按难度、可验证性和历史失败信号排序，合成 273 个边界清晰的任务。每个任务的起始应用必须能构建、能启动、能渲染，否则直接剪掉。
榜单上排第一的 gpt-6-astra 在多模态编辑赛道拿到 0.754 的严格通过分，完整交付率 41.0%；到了仓库编辑赛道，严格通过分降到 0.667，完整交付率只剩 17.9%。同一套评分口径，换个赛道就掉一半。
任务分两轨：多模态编辑（ME）100 个，带截图标注，附件可以是图像、音视频或文档，共 553 条准则；仓库编辑（RE）173 个，要求跨组件、路由、状态和数据流的协同改动，共 1,778 条准则。合计 2,331 条专家手写的隐藏验收准则，Agent 执行时看不到，基准也不需要标准代码或目标截图。
打分方式是先判后驳：评测员按源码差异、渲染截图和浏览器交互轨迹，给每条准则判 Pass、Partial 或 Fail，再由一个独立的 LLM 验证员专门去挑战「通过」的判定——查有没有 stub、有没有硬编码、入口够不够得着。此外还有两名前端专家人工复核了 200 组任务与模型的输出。
作者还对评分器本身做了压力测试：换三个不同的裁判模型重新打分，绝对分数最多只偏移 0.053，kimi-k3 与 Qwen3.8-27B 在两个赛道上的相对次序在四套评测配置下都没变。裁判是模型，但这个测量看起来是稳的。
三件比名次更值得看的事
一是赛道会改排名。两个赛道严格通过分的 Spearman 相关是 0.818，看着挺稳，但 kimi-k3 从 ME 的第四掉到 RE 的第六，Qwen3.8-27B 从第五升到第二。端点之间的均分跨度在 ME 上有 28.7 分，在 RE 上只有 13.0 分，合成一个总榜就把场景差异盖住了。
二是干得多不等于干得好。ME 上 glm-5.2 平均 69 轮、烧掉 7.29M token，拿到 0.572；gpt-6-astra 只用 32 轮、1.24M token，拿到 0.754。RE 上 Qwen3.8-27B 花 57 轮、6.72M token 打出 0.645，还是输给了花 2.33M token 的 gpt-6-astra 的 0.667。论文的说法是，更高的完成度并不需要更大的执行开销。
三是改得越宽越难。涉及一到两类改动的任务严格通过 0.654，三类四类掉到 0.591，零通过率从 0.9% 升到 5.8%。多改几处，漏的就更多。
四是一个反直觉的细节。按附件类型拆开看，文档类任务的严格通过分最高（0.652），可它的完整交付率只有 18.2%，反而低于纯文本任务的 37.0%。准则覆盖率最高的输入模态，恰恰是最难被完整交付的那一种。
Agent 开始自己装工具链
另一个信号藏在工具调用里。68.5% 的视频任务运行中出现了 OpenCV，31.5% 调了 ffmpeg；音频任务里有 25.0% 调 ffmpeg、4.4% 调 faster-whisper。更直接的是，Agent 会自己去 Hugging Face 上拉预训练感知模型：AST、CLAP、Whisper、Qwen2-Audio、CLIP、DINOv2、OWLv2 都在轨迹里出现过。
前沿模型当大脑，OpenCV 和 Whisper 当眼睛和耳朵——这条路线未必比「更大的原生多模态模型」更远。
顺带一组对照实验：同一批 WebCompass-edit 任务、同一套评分口径，qwen3.7-plus 从单次生成换成 agentic 循环，平均分从 73.6% 跳到 95.1%，全部通过的任务从 49 个涨到 104 个。换执行方式，比换模型见效快。
我的判断
榜单只报一个平均分，是最容易让人误判的形式：它把「每条需求都沾一点边」和「真的做完了」混成同一档。这个基准把两个数并排放出来，69.9% 对 26.4%，这道 2.6 倍的裂口比任何名次都更接近真实生产力。
也要说明，上面所有数字都来自论文自己的评测，社区目前没有第三方复现，基准放出的数据集也只有 ME 那 96 个任务。
所以下次再看到一个 Agent 基准只甩一个平均分，先问一句：完全做完的有几个？