长程编码 Agent 有个尴尬的成本结构:一个任务动辄几十上百步,业内惯常做法是把每一步都丢给云端前沿大模型。NVIDIA 的研究团队最近在 arXiv 上挂出论文 EdgeWise,开头就戳破这层窗户纸——不是每一步都需要大模型的能力,但每一步都在按大模型的价格付费。
云端大模型的价值,集中在少数关键步骤
论文先做了一个观察实验:分析 2.4k 条编码 Agent 轨迹,把每一步归入六类动作——Write/Edit、Read/Search、Diagnose/Reproduce、Test/Validate、Discover/Navigate、Wait/Poll,再测量每类步骤上云的价值。结论是:云端大模型的收益集中在少数关键步骤,云端调用率只要 40% 左右、把对的步骤交上去,整体表现就能与全程使用云端大模型相当,推理成本至少省 25%。
让 9B 小模型自己学会何时求助
基于这个观察,EdgeWise 把 Qwen3.5-9B 部署在本地当主力,仅在关键步骤把控制权交给云端大模型。怎么判断关键?论文给了两条路:一是外挂裁判,用轻量 critic 模型 GPT-5.4-mini 在线判断当前步骤是否需要更强模型;二是自委派,用步级 RL 把解题与委派一起训进 9B 模型本身,推理时不再需要额外决策模型。训练用 SWE-Smith 环境、Kimi-K3 当云端教师,2K 样本先 SFT,再在 40 张 A100 80GB 上跑 175 步 RL。消融显示:只做 SFT 的版本 pass@1 为 57.30%,加上 RL 后到 71.91%,成本只多花 3.74 美元——委派策略才是 RL 阶段真正的增量。
数字:最多砍 62%,端侧部署再省一半
主结果里,EdgeWise 在 SWE-Rebench 上最多降 62% 推理成本,Terminal-Bench 2.1 上降 34%,跨模型跨基准平均降 46%,性能与纯大模型执行持平或更好;云端模型换成 Claude Opus 4.8 的对照也列入主表。团队还把 Qwen3.5-9B 部署到一台 DGX Spark(vLLM 0.19.1、BF16、显存利用率 0.65)上做真实边缘验证,Pass@3 与 A100 环境相当,成本比全程云端再降约 50%。泛化性同样有数据:把本地模型换成 Tmax-9B,二选一委派把 pass@1 从 28.09% 拉到 74.16%,追平 GPT-5.5 的 74.16%,费用省 27.67 美元;裁判换成开源的 Qwen3.8-27B,效果也保持可比。
所以呢
这篇论文真正有意思的地方,不是又一个「小模型省钱」的故事,而是把「要不要求助」本身变成可训练的技能。对做 Agent 的人来说,接口账单的大头从来不是难题,而是被大材小用的常规步骤;对 NVIDIA 来说,这套框架天然给 DGX Spark 这类端侧设备铺路——本地 9B 常驻、云端按需升级,可能才是长程 Agent 的默认形态。论文:https://arxiv.org/abs/2610.17560