现在几乎每家厂商都在讲「深度研究」能力:给一个模糊问题,Agent 自己搜网页、翻论文,最后交一份报告。但有个绕不开的问题——凭什么判断它做对了没有?
静态检索基准的答案是「答案在库里,你能不能找出来」。真实网络不是这样:证据可能一半在网页正文、一半在视频字幕、还有一半藏在虚拟博物馆漫游里。
把「找证据」本身当考题
论文提出 OpenDS(Open-Web Deep Search)任务,并构建 OpenDS-World 基准:200 道题,覆盖八个领域,全部经独立人工验证以保证答案唯一。真实网络的复杂度被拆成三类:多模态(文本、图像、音频、视频)、异构格式(HTML、PDF、MP3、MP4、Parquet),以及交互式访问——有些证据必须靠翻页、操作图形界面才能拿到。
最高 39.0%,还错 122 题
12 个前沿模型在统一工具环境下评测:GPT-6 Astra 以 39.0%(200 题对 78 题)居首,Claude Opus 5.5 为 38.0%、Gemini 3.8 Flash 为 36.5%;Qwen3.8-Flash 12.0% 与 DeepSeek-V4-Pro 12.5% 垫底。即便是第一,也错了 122 题。
难度落差更陡。12 个模型平均分从低难度 39.66% 掉到中难度 23.50%、高难度 16.76%。高难度上最高的是 Gemini 3.8 Flash(28.24%),Qwen3.8-Flash 只有 4.71%。
人类 21.1%,低于最高分模型
1000 次独立解题尝试中,人类参与者整体准确率 21.1%,低于得分最高的模型;且有 42.5% 的题目,所有被分配的人类参与者都没做出来。这不等于「模型超越人类研究者」——两边工具条件与预算未必对等。但它说明:跨多源、多模态做多跳取证时,连人类也会大面积折戟。
花更多 token 不等于更准
GPT-6 Astra 平均每题 51.05 次工具调用、18.66 分钟;GPT-5.6 Sol 调用次数几乎相同(52.42 次),只用 8.99 分钟,准确率却低 11 个百分点。Gemini 3.8 Flash 的 token 消耗约为 GPT-6 Astra 的 5.22 倍,准确率反而更低。
真正贵的不是搜索,是失败
工具调用失败只占全部调用的 2.83%–9.42%,却吃掉 19.27%–61.90% 的工具执行时间。 GPT-6 Astra 是 6.34% 的调用数对应 42.57% 的耗时。
预算是 1 小时加 100 次调用双重限制,触顶比例从 Claude Opus 5.5 的 16.5% 到 Qwen3.8-Flash 的 81.5%。失败后 Claude、Gemini、GPT-5.6 Sol 多在 79%–83% 的情况下改用别的工具,Kimi K3 与 GLM-5.3 则有约 37%–38% 改参数重试。前者在换路,后者更像原地打转。
所以呢
这份评测(arXiv:2610.30181)的价值不在那个 39.0%,而在于它把「Agent 做深度研究」拆成三件可测量的事:能不能选对信源、协调不同工具、在预算耗尽前停对。
前两件决定上限,第三件决定成本曲线。平均 18 分钟的调研 Agent,和跑 45 分钟还交不出答案的 Agent,在定价上不该算同一种东西。