科研智能体的赛道已经卷到"替博士生干活"了,但一直缺一张能服众的考卷:现有基准要么只考答题,要么只考写代码,没人考"完整的科研工作流"。10 月 23 日,中科院软件所联合阿里 Qwen 团队、浙大、港科大、清华等机构在 arXiv 发布了 SCI-AGENT-EXAM,给十个前沿模型办了一场 120 道题的科研统考(论文地址)。
考场:156 位专家出题,7 类科研任务
这张考卷搭得相当扎实。156 位领域专家参与命题与验收,出题和评分由互相独立的团队负责;每个任务都由相应领域的博士级专家设计、构建并验证,还会故意注入"似是而非的干扰项和误导性中间信号",专门钓那些想走捷径的智能体。
任务覆盖 11 个科学领域——从物理、数学、材料、化学到生物信息、科学计算;再按科研工作流任务分类法(SWTT)切成 7 类:文献综合、假设验证、工具编排、代码生成、错误诊断、端到端分析、结果解读。每个任务要求三份交付物:结构化的最终答案、可执行工件(代码脚本)、文本工件(报告解释),全部在独立 Docker 容器、同一命令行 harness 下受控执行。
打分也是双轨:可执行工件由确定性程序在隐藏数据上重跑验证;文本工件交给专家校准过的 LLM 评审。两路分数分开公布再合并,谁也别想靠一头蒙混。
榜单:Astra 大幅领先,国产三家进前十
十个前沿模型同场,分差拉得很开:GPT-6 Astra 综合 80.9 分位居第一,领先第二名 Claude Fable 5 整整 13.6 分;Claude Opus 5 以 64.2 分排第三;Qwen3.8 Max 62.7 分第四、Kimi K3 62.6 分第五;GPT-5.6 Sol 59.6、Claude Opus 4.8 57.1、GLM-5.3 55.9、Grok-4.6 52.4 依次排开,DeepSeek-V4-Pro 50.9 分垫底。
值得注意的是程序分与评审分的错位:Qwen3.8 Max 程序分只有 54.7,LLM 评审却给到 74.2——代码跑分平平,报告写得出彩。这个错位在全榜普遍存在。
三个真发现
达标率悖论。 Astra 均分 80.9 看着漂亮,但按"单次运行综合分 ≥0.95"的严格口径,达标率只有 26.0%;第二名 Fable 5 更只剩 9.7%。均值掩盖了方差:今天的科研智能体"平均能干",离"每次都靠谱"还很远。
报告强不等于代码对。 全榜"报告漂亮但执行拉胯"(TL)的比例从 0.14 到 0.48 不等;DeepSeek-V4-Pro 以 0.48 的 TL 率和 0.25 的双优率(TR)垫底,是最典型的"嘴上功夫"选手;Astra 则以 TR 0.83、TL 0.14 成为最均衡的一个。轨迹分析还发现,多数模型修复"程序性检查"比修复"科学正确性"更可靠——把结果跑出来容易,把科学道理讲对难。
贵的反而便宜。 Astra 单次运行成本 20.79 美元拿下最高分,总成本反而低于 Qwen3.8 Max 和 Kimi K3;GLM-5.3 单次 57.96 美元全场最贵,平均要跑 102.4 轮。论文的结论很直接:评智能体的效率要看 run 级总成本,别只盯着 token 单价。
偏科生画像
领域维度上,Astra 在 11 个领域里拿下 10 个第一,但其他模型各有绝活也各有死穴:Claude Fable 5 工程能考 80 分、生物信息只有 49;Kimi K3 材料科学 81、物理科学 50。任务类型上,Qwen3.8 Max、GLM-5.3、Kimi K3 在文献综合类任务里表现相对最好——国产模型先在"读文献"这一环找到了身位。
所以呢
这张考卷本身比名次更有价值:它把"科研全流程"拆成 120 个可执行、可验证的任务,而不是又一张答题卡。但也要泼两瓢冷水:一是榜单基于 Claude Code harness 跑出,换一套 harness 结论未必照搬;二是论文附带的代码仓库链接目前还是 404,想复现得等工件放出。当所有厂商都在讲"AI 科学家"故事的时候,26% 的达标率是一个提醒:让智能体真正扛住博士级工作流,离及格线都还有距离。