炼丹这件事,正在从手艺变成模型可以习得的技能。11 月 17 日,一篇来自 Sun Yat-sen University 等机构的 arXiv 预印本 RSI-Prime(https://arxiv.org/abs/2611.23138)给出了新证据:把 350 条完整炼丹实验轨迹做成数据集,微调 GLM-5.3 之后,它在 PostTrainBench 上的总分从 36.56 涨到 48.24,论文实测相对提升 31.95%。
实验过程本身成了数据
先看赛场。PostTrainBench 是另一个独立团队搭的基准:给 agent 一张 H100、10 小时预算和一个 Qwen3-4B-Base 底座,让它自己找数据、训练、迭代、交模型。闭源组合在这个榜上明显领先,按论文表格,Fable 5.1 + Claude Code 拿到 53.68,而 GLM-5.3 的起点只有 36.56。
RSI-Prime 的思路是把实验过程直接变成监督数据:350 条完整轨迹,覆盖七类任务,拆出 90,738 条决策记录。轨迹不是随便录的,提交的模型必须跨过一道门槛,相对改进要超过参考 Instruct 与 Base 差距的一半(g>0.5),每条轨迹还要过 PostTrainBench 的四个轨迹裁判,失败的中间尝试则全部保留在上下文里。
成功的实验里,也有烂决策
论文最扎实的洞察是:实验最终成功,不代表每个决策都值得学。五类动作里,评测与诊断占 38.43%,数据准备占 27.09%,炼丹时间的重心其实不在训练执行本身。数据集里 92.42% 的决策被评为高质量,但实现优化类决策的问题率高达 16.89%,数据源选择也有 12.80%。全盘模仿,等于把坑一起学进去。
于是他们做了决策级 loss 掩码:一条消息关联的所有决策全部通过质量筛选,才参与监督,否则整条消息被 mask 掉。保守规则最终保留 76.25% 的监督消息、75.48% 的 token,也就是 68,027 / 89,211 条消息。质量标注由 GLM-5.3 自己打三次、多数投票,再抽 400 条做人工审计,接受率在 97.50% 到 99.50% 之间,论文也自陈这套审计不估计漏标率。
监督更少,分数反而更高
结果段是全文最反直觉的地方。全轨迹微调把 GLM-5.3 从 36.56 拉到 45.61,决策级监督再拉到 48.24,六个子任务全部转正,其中 AIME 2025 提高 12.23 分、HealthBench 提高 26.63 分。两个对照组都被压了下去:按工具报错掩码,保留 89.15% 的 token,只有 45.12;按步骤重要性筛选(改造自 ATLAS),保留 76.63% 的 token,只有 43.21,监督量与决策级几乎相同,分数却低了 5.03。
行为层面同样在改善:评测轨迹里,决策质量通过率 96.11%,全轨迹版本是 87.25%。按论文表格,48.24 已经压过 Gemini 4 Argon(47.92)、Opus 5.5(47.84)、GPT-6.1 Sol(46.45)和 Fable 5(46.31),距离榜首的 Fable 5.1 + Claude Code 还差 5.44 分。
该泼的冷水
- 训练语料含 HumanEval 相关内容,论文自己承认这一项存在训练-评测重叠;
- 基线的三次独立运行里,Arena Hard Writing 单项分别跑出 25.79、37.03 和 52.57,run 间方差不小,而三次平均只对原始 GLM-5.3 做过;
- 质量标注的打分者就是被微调的 GLM-5.3 本身,人工审计只抽了 400 条;
- 全部基准数值均为论文自报,暂时没有第三方复现。
不是孤例
这个方向并非一家之言。另一个团队 10 月放出的 RSI-Dojo(https://arxiv.org/abs/2611.03698),同样把后训练轨迹拿来教 agent 炼丹;Lim 等人 8 月的实证分析(https://arxiv.org/abs/2608.19072)看了 1,338 条后训练轨迹,发现只有 2.1% 的相邻训练轮转换会真正改变策略,agent 会修 bug,却很少回头改方案。决策级监督补的恰好是这一环:让模型学会在什么时候换打法,而不只是把既定流程跑顺。
所以呢:炼丹经验第一次被做成了可复用的数据资产,会训模型本身成了一种可以微调出来的能力。更刺激的下一个问题是,用这套方法训出来的模型,再拿去训下一代模型,循环转起来会发生什么?论文没有回答,但路已经铺到了这里。