一个 Agent 会话跑在集群上时,GPU 并不是一直在算。更多时候它在等——等编译、等检索、等一条命令跑完。这段"等"的时间,恰恰是决定整套系统快慢的关键变量。

上海交大与 Stanford 的一项工作重算了这笔账。论文 TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving(arXiv:2610.37230,10 月 27 日提交)把"工具什么时候返回"当成和 KV cache 命中、token 占用并列的第三个调度信号,再用动态规划同时决定"接下哪些会话、放到哪个节点"。作者自报的评测里,最高能拿到延迟降 26.8%、TTFT 降 36.3%、解码吞吐涨 29.5%。

现有调度漏掉的那笔账

论文把这个场景叫 CGDC:GPU 聚成推理集群,工具执行散落在 CPU 上,一个会话在两者之间横跳。这意味会话对 GPU 的需求是可打断的——工具在跑时它不占 GPU。

现有系统普遍是"先评估、再决策"两段式:评估看 GPU 侧特征(KV 前缀能不能复用、要烧多少 token),决策决定准入和放置。可这套评估里根本没有"工具什么时候回来"这一项。看不见返回时机,等于在给一份残缺的估值排序。

TAO 给每个"会话 × 节点"配一个三元组估值:随时间衰减的 cache credit、二元就绪信号、token 占用,按字典序比较。cache credit 用 2 的负指数衰减,半衰期 10 秒——可复用 token 越久远,打折越狠。就绪信号来自工具时长预测:优先用直接计时证据,其次退回工具自身或全局历史,没有就用 5 秒默认值。选谁、放哪,用容量状态动态规划一次解完,应用前重新校验。

最亮的一格和最暗的一格

作者自报的数字来自 12 组"模型 × 负载 × 并发"配置。把表 1 十二组延迟改善排一遍,中位数只有 4.6%,6 组不超过 5%;26.8%、36.3%、29.5% 三个峰值全来自同一格——DeepSeek-V4 Flash 在 SWE-bench Lite 上、64 workers。

最暗的一格更值得看。表 3 是混合负载与 chatbot 场景的兼容性测试:Terminal-Bench + SWE-Lite 混跑 389 个任务,三档并发下延迟分别改善 12.2%、23.2%、13.8%;而 AutomationBench 800 任务那行、128 workers 一档,延迟是负的 7.0%,TTFT 是负的 504.0%(从 Dynamo 的 3.166 秒涨到 TAO 的 19.123 秒),解码吞吐负 11.2%。整张表 36 个格子里,5 个是负的。

这不一定是 bug。工具就绪信号对纯聊天负载本来就没意义——没有工具要等,它就是噪声,甚至会把调度带偏。论文把它放在兼容性章节而非摘要,算是诚实。但"延迟最多降 26.8%"要读成"最好情况下",不是"平均"。

拆开看,哪块组件在出力

表 4 是消融,跑在 DeepSeek-V4 Flash、SWE-Lite、32 workers 上,完整配置解码吞吐 1417.97 tok/s,前缀缓存命中 96.31%,TTFT 均值 0.154 秒。逐个拆:

  • 去掉 cache credit:1398.35 tok/s
  • 去掉就绪信号:1363.06 tok/s
  • 去掉 session evaluation:1355.20 tok/s
  • 去掉 decision making(DP 换成 best-fit-decreasing):1233.72 tok/s

掉得最狠的是最后一项——决策端比评估端更值钱。难处在容量约束下同时决定"选谁"和"放哪",而这恰是启发式方法最容易退化的地方。

第 4.3 节拆得更细:固定 218 个任务的负载回放里,cache token 排序让前缀命中率比 ThunderAgent 高 0.19 个百分点、平均暂停等待降 4.5%;叠加 cache credit 衰减后,命中率再高 0.31 个百分点、解码吞吐涨 1.68%。开启就绪信号,解码吞吐涨 4.03%、工具返回到首 token 延迟降 10.88%,平均暂停等待从 1.067 秒降到 0.972 秒。

预测准不准,其实不是重点

这是论文最被低估的一点。附录 G 做了个"神谕"实验:把回放里已知的工具真实时长喂给预测器。预测误差降低 99.53%–99.69%,降到 0.025–0.030 秒。

但收益呢?makespan 改善在 −0.10% 到 +2.24% 之间,平均会话延迟在 −0.36% 到 +0.71% 之间。基本等于没。

真正有影响的是另一个数:工具延迟越长,就绪信号影响到的 DP 放置决策越多。scale 1(每次工具返回额外加 1–5 秒)时是 668 次决策里的 11 次、占 1.65%;scale 2 是 1345 次里的 53 次、3.94%;scale 4(加 4–20 秒)是 2521 次里的 200 次、7.93%。工具越慢,"先别占 GPU、留给马上要回来的会话"越值钱。所以 TAO 的收益不是"预测得更准",而是"把一个被忽略的维度接进了决策结构"。

代价在附录 I:四副本 Qwen 在 96–160 workers 下规划提交从 98 次涨到 1681 次,160 workers 时分配求解平均 1.59 毫秒、P95 3.68 毫秒,两部分合计 4.03 秒、占整轮 0.112%。DP 搜索也有兜底:64 workers 的 DeepSeek 跑里有 5.24% 的提交走了回退,Qwen 那组在 3.06%–8.98% 之间。

我的判断

方向是对的。上一代 LLM 推理服务优化的是"把一个请求算快",这一代要优化的是"在等待和计算的交替里把整队排好"。工具时间不进调度估值,等于把 Agent 服务当成不断线的 LLM 服务在运营——这是不少自建 Agent 平台的真实盲区。

但别把论文的数字当承诺。同一批配置的中位数看,延迟收益 4.6%、TTFT 中位数 14.75%、解码吞吐中位数 4.35%;只有"负载高度重复 + 并发顶到某个区间"时才跳到 26.8%。失效区也明确:纯聊天负载、高并发下 TTFT 甚至可能差一个数量级,单节点低并发那档也没赢过 vLLM。换个模型看是另一番景象——GLM-4.7 跑 SWE-verified,延迟降 16.2%–18.9%、TTFT 降 15.7%–38.4%、解码吞吐涨 22.8%–24.7%。

还有个信号在附录 E.2:和 TokenCake 这类引擎层 KV 管理器组合时,"只加 cache-aware"反而比单用 TokenCake 更差(16 workers 下延迟 137.907 秒 vs 126.891 秒),而"TAO + TokenCake"是 122.940 秒。调度层和引擎层的缓存管理不是简单叠加,选错组合会互相打架。

如果你的服务正卡在"工具一慢、整队就堵"上,这篇值得读;如果负载大部分是聊天、没有长工具链,收益远小于摘要里那个数字。

至于"Agent 服务的调度到底该优化什么"——现在连一个公认的目标函数都没有:TTFT、端到端延迟、还是吞吐?TAO 用字典序三元组做取舍,代价就是 AutomationBench 上那 504% 的 TTFT 负收益。下一个方向也许不是更聪明的调度器,而是先把"我们到底要优化什么"说清楚。