"7月14日,arXiv:2607.12236「Speculate with Memory」把记忆系统搬进 LLM Agent 投机执行器,给\"无状态推测\"补上在线学习能力。核心是在投机器上加三层串联的在线记忆:对比转换表记录历史动作-动作统计分布,情景记忆回溯与当前上下文相似的过往轨迹片段,困惑跟踪器专门压制反复出现的错误。三者协作,让投机器第一次具备了\"走过一遍,下次更准\"的能力。\n\n实验在 6 个基准上覆盖动作预测、观察预测、链路预测三类场景。结果:动作预测准确率相对提升 19-39%;动作重复度高的观察预测任务上,最高取得 2.5× 绝对加速。论文特别强调所有增益\"无损\"——投机完全跑在环境空闲时段,actor 轨迹与无投机执行完全一致,零额外 wall-clock 开销;且增益随记忆增长持续累积,在不同成本档位的推测器之间都泛化。\n\n真正的价值在于把\"专项加速\"和\"持续学习\"焊到同一条管道。当前 LLM Agent 的工具调用、环境观察、动作规划彼此耦合,延迟叠加非常夸张;大多数加速方案只关注参数或蒸馏。本文思路相当于把\"老司机的肌肉记忆\"嵌入推理回路——同一份推理预算,体验越来越好。这种\"边际成本递减\"的加速路线,比单纯放大模型更可持续,也更贴近 GPU 利用率的真实瓶颈。\n\n边界也明确:动作空间越开放,记忆命中率反而下降,而 Agent 越来越走向开放场景。但\"轻量记忆 + 投机解码\"组合,给所有做 Agent serving 的团队提供了低成本、可借鉴的工程模板,结合 vLLM、SGLang 现成的投机解码接口,很快就能复刻。\n"