[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-6784d3bd-26c1-4fd5-a2e5-8c7b9e591dae":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"6784d3bd-26c1-4fd5-a2e5-8c7b9e591dae","SmoothAgent 把上下文变换「提前做」：Agent 长链路 TTFT 砍到原来的 1\u002F12","长上下文 LLM Agent 跑多轮工具调用时，「上下文工程」听起来是个细节，实则是 TTFT（Time-To-First-Token）的隐形杀手。UCSD 与 UCLA 团队 6 月底在 arXiv 上公开的 SmoothAgent 论文把这个痛点一刀切开：他们提出 lookahead programming model，让 Agent 框架把上下文变换写成「异步操作」，运行时提前把变换后的 KV cache 准备好——实验数据是 TTFT 最多砍掉 11.9 倍。\n\n现代 Agent 框架靠 offloading、reduction、isolation 三类策略控制上下文长度，但每次变换都会让已有 KV cache 失效，触发一次完整的 re-prefill。这就是 TTFT 在多轮 Agent 中被反复推高的原因。\n\nSmoothAgent 的关键洞察是上下文变换是**段可分解**的——前缀的变换与未来 token 无关。抓住这一点，论文把变换操作改写成「异步任务」，运行时放到后台提前执行，等到真正需要时 KV cache 已经准备好，可以直接替换而不阻塞。配套的 lookahead-aware 调度器还能在延迟敏感的请求之间安排这些异步任务，控制相互干扰。\n\n论文在多种上下文工程策略上做了实验，并把方案接进既有 Agent 框架和 vLLM \u002F SGLang 这类 LLM serving 系统——不是停留在 demo，而是真的能在生产栈里跑。11.9 倍意味着过去十几秒的首 token 能压到一两秒，对长链 Agent 工作流的可用性是质变。\n\n和传统的 KV cache 优化思路比，SmoothAgent 不是把缓存「压得更小」或「留得更久」，而是从**调度时序**上把变换前置。Agent 框架几乎不用改业务代码，只要把同步的变换调用改成 async API 就能享受到加速——这种「零侵入」设计往往决定了一项优化能不能真正铺开。","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.00151","7437aeb9-930c-4866-a2e9-48003c1a792b",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"6ad31a14-c0da-42df-81fd-564281f768db","agentic-ai",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"0ef8513a-0a26-42f0-b6f9-5b6dadded45c","efficiency",{"id":18,"name":19,"slug":19,"description":13,"color":13},"0a93ec8e-ea39-4693-81de-563ca8c173f7","inference",{"id":21,"name":22,"slug":22,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm","2026-07-23T03:00:00Z","2026-07-22T18:14:53.934396Z","2026-07-22T18:14:53.934408Z",true,"agent",3]