训练 agent 的强化学习有个不太起眼的怪状态:模型权重每一步都在变,但包在模型外面那层 harness——决定它能看到自己哪些交互记录、什么时候收到提示指导的脚手架——通常是人手写好,从第一步到最后一步一动不动。11 月 13 日,Zelin He 等八位来自宾州州立大学、LinkedIn 和加州大学圣巴巴拉的作者在 arXiv 放出预印本 ModHarness-RL,把这件事翻了出来:harness 不必是死的,它可以写成程序,从训练数据里学出来,再跟着模型一起演化。

手写的 harness 撞上两个矛盾

论文先摆问题。一个有效的 harness 要按任务、数据、模型和上下文预算裁剪,每种组合手工调一遍,不随规模扩展,所以它应该从数据里推导。更关键的是,有效 harness 在训练中一直在变:RL 自己会消化掉一部分失败模式,新组件只应该加给那些持续存在的失败——什么时候插手、什么时候放手,本身就是随训练动态变化的判断。

作者梳理了近期的相关尝试:按预设时间表衰减固定脚手架、把脚手架重写与权重更新交替进行、从观察到的故障里编辑规划与记忆模块。按论文的归类,这些方法的更新空间要么预先固定,要么绑死在特定任务脚手架上,还缺一条从交互的类型化状态出发、与模型共同优化的通用路径。

把 harness 写成类型化块上的程序

ModHarness-RL 分两层。表示层:交互被记录成结构化 State,一组带类型的块——每一轮的推理、工具调用、工具结果都是块。harness 的两个核心组件被写成读这些块的程序:Compression 程序在固定预算内把累积历史重新组装成模型上下文;Steering 程序检测行为偏离,条件命中时往上下文里追加一条指导。

程序这个载体自带三个好处,论文的表述是:可学习——LLM 能直接从训练轨迹和对应奖励写出程序;计算便宜——每轮每条轨迹都跑得起,全程不用再调模型;可测试——每个候选 harness 都能在存档轨迹上回放,先评估再决定收不收。

演化层是与 RL 交替的管线:从近期轨迹总结经验、提出候选程序、执行验证,再在留出的训练任务上把关。Steering 部分有个值得单独说的 Replay 机制:候选指导程序要在过去训练步的旧轨迹上重跑,只有随训练持续复发的失败才会被安装。论文给的两个判断案例很能说明问题:一类失败一直复发,judge 装上对应指导,失败被压下去;另一类失败本来就在变稀少,judge 按住不动,后续训练自己把它消掉了。

数字:涨多少,省多少

实验设置全部对齐:GRPO,200 步,单节点八张 H100;CodeSearch 用 Qwen3-4B 和 Qwen3-8B,BIRD SQL 用 Qwen3.5-2B 和 Qwen3.5-4B,ALFWorld 用 Qwen2.5-1.5B 和 Qwen2.5-7B;每种环境再分「预算中途耗尽」与「几乎不触顶」两种上下文档位。所有从轨迹学习的方法统一用 GPT-5-mini 当 creator。CodeSearch 任务是在真实仓库里定位 bug,训练用 SWE-Smith,评估在 SWE-Bench Lite、Verified、Pro。

按论文实测:CodeSearch 上 ModHarness-RL 比固定 harness 基线相对提升 14 到 24%,对记忆、技能、提示词、harness 演化四类可学习基线的领先幅度是 5 到 12%;Qwen3-8B 受限预算一档整体 F1 报 0.412,相对基线涨 24%,充足预算一档 0.460,涨 14%。它在 CodeSearch 每个设置都超过 zero-shot 的 GPT-5-mini——也就是替它写程序的 creator——作者据此排除了「蒸馏 creator」的解释。ALFWorld 与 BIRD SQL 上,两个程序单独用,八个设置里七个超过基础 harness。

效率侧更扎眼。预算充足时,Compression 让 ALFWorld 的 prefill token 少 74%、CodeSearch 少 10%,而且程序是确定性的,早期轮次渲染一致,前缀缓存大部分仍然有效。和 GPT-5-mini 在线压缩历史相比,4 个设置里 2 个分数更高、另外 2 个最多低 5%,但 teacher 调用与 token 按论文估算省约两个数量级,受限预算档每轮新增墙钟时间降幅按其估计超过千倍。

消融部分有两个反直觉点。先练策略再优化 harness、或反过来,两种顺序都全面掉分——共演化本身有价值;Compression 只在基模型上拟合一次、训练中冻结,反而比每十步重拟合更好,Qwen3-8B 受限预算下后者掉到 0.279——上下文稳定对策略训练,比「更贴身」更重要。

边界在哪

论文自己的限定写得相当清楚:对比最充分的是 CodeSearch,另外两个环境主要验证程序泛化;候选程序的把关只跑在有限的留出任务上,偶尔会放进略差的程序;程序由 GPT-5-mini 这个专有模型写成——策略只看到程序执行输出,该文本不作为损失目标,程序建成后可复用;确定性程序只能捕捉显式规则可检测的模式,适合工具调用这类结构化、可验证的交互,对信号是语义性的开放式对话并不合适。规模也还小:1.5B 到 8B 的模型、单节点训练,离前沿训练现场有距离。

所以呢

这篇论文真正有意思的地方,是把「harness 工程」从手艺变成了可优化对象,而且优化回路便宜——程序不靠模型在线跑,回放存档轨迹就能打分。当模型的能力在训练中每天生长,harness 若还是三个月前那版手写脚本,错配只会越攒越大。反过来说,连「喂给模型什么上下文」本身都成了学习对象之后,agent 训练系统里剩下的纯人工环节,还有几个?

引用:ModHarness-RL: Recasting Harnesses as Learnable and Evolving Programs for Agentic RL(https://arxiv.org/abs/2611.18533,arXiv 预印本,2026 年 11 月 13 日提交,尚未同行评审)