模型窗口短,长文档就砸"问题"。这两年长上下文赛道的默认解法是「把窗口撑到 1M、10M,甚至 100M」。但 Bryce Sandlund 在 arXiv:2610.02404 里给了一条反方向的路线:别再堆上下文,让模型自己学着拆。

把长上下文问题转成 agent 接力

作者把工具集砍到只有两个:read_chunk(start, end) 读原文任意区间;spawn_subagent(subtask) 拉一个独立上下文的子代理去解子任务。父代理拿到的是被刷成 OOLONG 风格的长文档,但每个代理自己的上下文硬性上限是 8K。父代理需要自己判断:该读哪段、该派谁去、什么时候把子结果汇总。

这不是手写 prompt 工程。Sandlund 的实验显示,基模直接扔进这套 harness 后表现很差:base Qwen3.6-35B-A3B、GPT-5.4、Kimi K2.6 都会把原问题原封不动扔给子代理,根本不读文档;Opus 4.6 倒是开始拆任务,但会一口气递归到 300 美元的 API 额度烧光。模型对「在拆程序、解法、本地决策」没有先验。预训练是纯语言续写,agent 后训练也没教分解策略。Recursive Language Models 那类工具能跑,因为模型有强代码先验;但这条最简 harness 上,分解能力得现教。

用 oracle SFT 教三种分解套路

训练方法刻意选了 SFT 而不是 RL。作者给出的理由是:L 级别的强化学习探索能力,在「弱分解先验」面前根本逃不出去——同时也不清楚该给子代理什么 reward,如果用 GRPO 也不知道哪个 group 比较子代理的轨迹。

他用更强的模型(Opus 4.8 / 5 / 5.5、Fable 5 / 5.1)造了一条合成数据,教三种分解套路:

  • tree reduce 应对顺序无关的聚合任务(类比早期 GPT-3 摘要论文的思路);
  • sequential fold 应对顺序依赖的任务(类似 Memagent 那种"滚动节点"策略);
  • agentic delegation 在边界条件上由模型自己决定是直接读、派子代理还是汇总结果。

关键设计是「不把分解结构焊死在 harness 里」——harness 只提供两个工具,具体怎么拆让模型自己学。最终微调的是 Qwen3.6-35B-A3B,合成的 oracle 数据来自 Claude/Gemini 系的更强智能体。代码已开源。

8K 上下文追平 1M token 的 GPT-5.4

结果分两部分。

在 OOLONG-synth 上,文档长度超过 40K 时,8K-context 的小模型跟 GPT-5.4(medium reasoning,1M token 上下文上限)打平。换句话说,在某个长度区间之后,「窗口更大」不再带来长能力,反而「会拆文档」才是关键能力。

在 RULER 上,文档从 10K 到 320K,该模型在每代理 8K 的硬限制下全程保持 ≥85% 准确率——基模原版在长文档上明显衰减。

作者特别强调一点:训练数据故意排除了评测分布,目的是证明「在分布外的真实长文档上,sft 出的 agent 分解策略依然泛化」,而不是「专门刷榜」。

工业界为什么没这么做

MemGPT(2023)、RAPTOR(2024)、Chain-of-Agents(2024)、Recursive Language Models(2025)这一类工作,本质都是「工程化 harness」:人写好流程,把长文档切成可被分治的块。Memagent(2026)是同方向的训练工作,但「执行结构被焊在 harness 里」,只在自训练分布上验证。

Sandlund 的差异化是:harness 极简(只有两个工具),不写流程;分解能力完全交给 SFT 学出来的策略。同时,论文还做了个 ablations——RL 跑不出这种能力,弱探索是瓶颈。唯一的现有可参照训练方向是 Kimi K2.5 的"agent swarm",但它只训练父代理如何调子代理,不训子代理轨迹本身。

长文能力可以被训练成策略,不一定是窗口

这条路线最有意思的暗示是:不是所有长文档问题都需要原生 1M 上下文。如果代理本身学会怎么分解、何时组织,8K 窗口也能拖 320K 文档。

代价是:SFT 数据质量是天花板——oracle 拆得对不对决定策略能不能泛化;训练数据生成成本不便宜(用 Opus 5、Fable 5.1 等更贵的模型造 oracle 轨迹)。论文也坦承,「opaque orchestration」被训练出来的策略,出了训练分布不一定稳。

但对那些不推 1M 窗口、又嫌 MemGPT 类工程化太重的团队,这条线值得跟进:用 oracle SFT 把「上下文管理」当成可训练的策略,而不是每次都去堆原生窗口或外挂 harness。下一步要看 RL 阶段能不能接上去——这是作者留作 future work 的方向。