各家模型的基准成绩单越刷越漂亮,可把它们放到一张同事留下的真实工作簿面前,画面就不一样了。Surge AI 团队 9 月 30 日上线了 GDP.xlsx 榜单:70 条由行业从业者撰写的真实职场请求,来自 12 家开发商的 20 个模型配置同场作答,按「全对才算通过」的严格口径,没有一个通过率超过四成。论文 11 月 13 日挂上 arXiv,已被 Agent Evaluation Science Symposium(11 月在纽约举办)接收。

这份考卷有多真

GDP.xlsx 的 70 条请求全部出自 13 个领域的从业者之手,起点是他们工作流里前沿模型真的翻过车的场景,每条任务再过三轮评审。输入文件是 58 个 Excel 工作簿加 12 个 CSV,合计 218 万个非空单元格;请求本身极短,中位数只有 55.5 个词,而且 70 条里有 58 条不会告诉你「去看哪个 tab」。论文作者是 Surge AI 的 Suhaas Garre、Sushant Mehta 与 Edwin Chen。

考法:全对才算过

Agent 在容器里作答:有终端和文件编辑器,Python 带 openpyxl、pandas,还有 LibreOffice 和 Tesseract OCR;一次尝试最多 200 轮、60 分钟,容器内只有模型 API 可达,证据必须来自文件本身。评分端不是字符串比对,而是一个能打开文件、跑代码验证的 OpenCode 评审 agent,按每题 3 到 30 条、平均约 11 条专家标准逐条裁决,先写理由再给结论。strict pass@1 要求一次尝试命中全部标准,39 道题同时要求集合完备与答案排他——多报一项,也算失败。

榜单:头部也难看

按论文与官方榜单:Gemini 4 Argon 以 38.3% 排在榜首(任务抽样标准误至多 5.8 个点),Claude Opus 5.5 为 30.3%,Claude Sonnet 5.5 为 29.1%;此外没有任何配置超过 25%,20 个配置的中位数只有 19.3%,恰好是榜首的一半。中游相当拥挤:GPT 6 Astra 22.9%、Muse Spark 1.3 22.6%、Grok 4.7 22.3%、GLM 5.3 21.4%、Qwen 3.8 Max 20.3%、Kimi K3 13.4%,Mistral Large 3 则是 0.0。迭代是有效的:Gemini 4 Argon 比 Gemini 3.1 Pro 高出 28 个点;榜单上同模型的新旧两版,也都是新版得分更高。

输在哪:证据不在单元格里

失败案例的共同点,是答案漏掉了文件里确实存在的证据。Muse Spark 1.3 做租金预测,工作簿有 15 个 tab、15910 个非空单元格、9857 条公式,它召回 9 条相关租约中的 6 条、精确率 6/6,依然算失败——漏掉的 3 条只记录在 BreakClauses 页,其中一条还被 AutoFilter 藏了起来,而这 3 条对应着 1400 万美元量级的三年预测净租金。GPT 6 Astra 做临床数据字典,8 个 housebound 代码只交出 3 个;做认证跟踪题时,它声称工作簿没写明谁负责待定认证,而另一个 tab 恰恰记录着这件事。Gemini 3.8 Flash 找设备机柜,漏掉了只标注在贴入 Sheet1 的示意图里的 +MDY50UC017。

结构本身就是数据:58 个工作簿里,42 个用单元格填充色表意,34 个用非默认字体颜色,21 个嵌入了图片或形状,17 个藏着隐藏的表、行或列,中位数的工作簿带 4 项这类特征。论文点破的盲区是:把表格加载成 dataframe,格式、批注、绘图会全部丢失——而证据恰恰常在那里。

所以呢

论文的失败分析给了一个朴素的启示:几行 Python 就能列出工作簿里的全部 tab、批注、筛选和嵌入图片,四个失败案例全都败在「没先做检索」。想拿 AI 处理业务表格的人,这篇论文等于一份冷水说明书:榜首也做不到五次尝试里两次全对。基准自身也做了防污染:3 道公开任务配上 Apache 2.0 协议的评测 harness,另外 67 道 held out,还嵌了 canary 串,要求别进训练集。模型的推理在变强,可「把一张表读完整」眼下仍是人的活——你敢把它先发给你的账期表试试吗?

(参考:论文 https://arxiv.org/abs/2611.17766 ;评测 harness https://github.com/surge-ai/gdp-xlsx ;在线榜单 https://surgehq.ai/benchmarks/gdp-xlsx )