六个工具检索结构放在同一张考卷上跑,跑出一个容易被忽略的结论:召回率翻倍的时候,完整率可能几乎不动。
一份被平均值掩盖的评测口径
论文的切入点是工具检索里一个很少被拆开看的指标:completeness@k——请求需要的整套工具,是不是全在检索结果的第 k 位以内。单工具请求里它退化成命中率;只有当请求需要多个工具时,它才真正开始测量检索器的水平。
作者先在一份常用基准上做了分层。ToolRet 一共 7,961 条查询,其中 55% 只指向一个目标工具,单目标查询的 completeness@10 落在 0.58 到 0.67,而需要四个以上目标的查询只有 0.08 到 0.17。bge-base 的综合分 0.507,就是单目标 0.672 和多目标 0.303 的加权平均,一个被查询难度撑起来的数字。
更要命的是排序会翻转。论文自己的评测里,单目标查询上 bge-base 最好或并列最好,但两个目标时,COLT 的 stage 1 检索器比它高 0.077 到 0.122,查询分解比它高 0.006 到 0.041;四个目标以上,分解反超 0.013 到 0.064。另一组独立研究在完全不同的注册表上得到同方向的交叉点:检索优先在单工具查询上占优,规划优先在多工具查询上占优,且在 k=1 到 20 的每个预算、1k 到 47k 个 API 的规模上都成立。
换到多工具考场上,完成率掉到十分之一
论文随后把战场换到两个真正需要多个工具的测试台。AppWorld 用 In-N-Out 的专家参数级依赖标注,345 条官方测试查询(129 条 test-normal、216 条 test-challenge)跑在 456 个 API 上,每条请求需要 2 到 12 个 API,中位数 6 个,其中 258 条单链条、87 条带依赖。测试台二 MCP-Bench 是 103 个任务、28 个服务器上的 257 个工具,其中 97 个任务明确需要多个工具。
AppWorld 上的 C@16 很难看:BM25、MCP-Zero、HYSET 三个都是 0,bge-base 只有 0.020,查询分解 0.035,e5-base 0.064,依赖图 GoS 0.096。只有两个结构过线,COLT 0.328 和 AnyTool 0.301,而两者差值的置信区间 [-0.081, 0.029] 跨过零,分不出高下。MCP-Bench 上 COLT 以 0.583 领先(recall 0.887),AnyTool 0.398,查询分解 0.359。
按服务器数量拆开,COLT 在单服务器任务上 0.782、两服务器 0.467、三服务器 0.167;三服务器任务里除 AnyTool 的 0.278 之外没人能完成任何一个。
召回率和完整率根本不是一回事
最能说明问题的一组数字在论文的第四段观察里:查询分解把 AppWorld 的 recall@16 从 bge-base 的 0.190 抬到 0.417,翻了一倍多,completeness@16 却只从 0.020 挪到 0.035。召回率说的是"大部分工具找到了",完整率问的是"一整套齐了吗"。MCP-Bench 上 AnyTool 和分解的 recall@16 是 0.783 和 0.776,看着已经追上 COLT 的 0.887,完整率却只有 0.398 和 0.359,离 COLT 的 0.583 还差一截。只盯着 recall 调检索器,调的是个跟能不能干活关系不大的指标。
两种失败,两种修法
论文把每一条不完整的检索拆开归因,两个领先结构的病灶正好相反。COLT 丢掉的 API 里 58%(404/698)其实排在自己的第 17 到 50 名之间,MCP-Bench 上这个比例是 90%,属于排序深度不够,加大预算或加重排器就能捞回来。AnyTool 是另一种丢法:538 个缺失 API 里有 317 个属于"没认出来的前置依赖",即找到了请求点名的 API,却没把喂给它输入的那些一起收进来,修法是沿生产者-消费者关系补齐。平面检索和图检索则大多在检索起点就丢了目标。
代价也是两笔完全不同的账。COLT 查询时一次大模型调用都不需要,0 token、0 延迟,代价是事前要在同一个工具池上准备标注过的请求,AppWorld 上是 90 条官方训练查询,MCP-Bench 上每折 75 条;AnyTool 不需要训练数据,但每次查询中位数 31 到 38 次大模型调用、99,739 token、307 到 311 秒墙钟时间,差不多五分钟一条。
下游那一关:21 比 39
最有说服力的是论文自己做的下游检查。用官方 AppWorld 的 ReAct 智能体跑 60 个任务,一组给标准答案 API,一组只给 COLT 的前 16 个:前者成功 46 次,后者 23 次,配对检验 p 值 5.6×10⁻⁶。论文自己的评测里,COLT 前 16 个凑齐的 21 个任务次次成功,标准答案在同样这批里成功 20 次;而 COLT 没凑齐的 39 个任务里,COLT 只成功 2 次,标准答案成功 26 次。缺工具时智能体会反复撞墙:步数中位数从 19 涨到 32,30 个回合撞上未暴露 API 的报错(标准答案组 8 次),prompt token 从 7.4M 涨到 15.1M。论文也诚实标注了这个比较是观察性的,凑齐的任务可能本身更容易,但同一批残缺任务换成标准答案能成功三分之二,差距不能全用任务难度解释。
论文自己划的边界
作者自己写明了两条限制:所有依赖大模型的环节都跑在 DeepSeek-V3.2 上,换成别的模型,依赖大模型能力的那条成本账可能重排(他引用的另一项数据显示,把网关模型从 GPT-5.4 换成 GPT-5.1,分层网关的任务成功率平均掉了 37.6 个点,而扁平化网关只掉 11.9 个点);另外所有稠密检索用的是 base 尺寸的编码器,所以那 10% 的天花板描述的是这个尺寸的编码器。
所以"所以呢":给智能体接一整套工具,评测口径就该从 recall@k 换成 completeness@k,并按请求需要几个工具分层看,不然综合分会被单工具查询撑着走。资源账也要算清:工具池能配套标注请求,就用集合级检索器把查询时成本压到零;没有标注数据,分层导航能补上能力,但要准备好每条查询五分钟的延迟预算。要盯的不是"找回来多少",而是"凑齐没有"——下游数字是 21 比 39。