闭源实验室把推理痕迹锁起来已有一段时间:API 只返回答案加一小段总结,思维链本身不再给。用加密块跨模型重放能把思维链偷回来——今年 8 月的 Stealing Reasoning Traces 论文证明过这条路可行——但它违反服务商条款,没有产品能长期押在上面。10 月 21 日,独立研究者 Yan Wang 在 arXiv 发布 TraceForge,给出第三条路线:不偷教师的推理,用学生模型家族自己的风格补写一份。
推理痕迹可以自己造
TraceForge 让两个模型对着长大。监督阶段,生成器从上下文和答案还原 Qwen3.8-Max 的约一万条真实推理痕迹;对抗阶段,判别器学习分辨真假,骗过判别器的样本成为下一轮的训练数据,五轮在线共同训练后收敛。推理时,生成器给教师的答案配一份「家族原生」(family-native)推理痕迹,判别器再从四个候选里挑最像真的那个。论文用闭源裁判 GPT-6.1-SOL 打分:合成痕迹的真实度拿到 68%,略高于真实痕迹的 66%,四选一后升到 82%。方法节里还记录了一个教训:作者原以为小模型能批大模型的作业,几百步后判别器就学歪了,最终判别器必须不小于生成器。
五个语料的干净对照
学生统一为 Qwen3.5-9B-Base,底座、训练配方、预算全部固定,数据统一来自 5,000 条带 Fable 5 真实推理痕迹与答案的 Claude Code 轨迹(3,500 个问题、256K 上下文窗口、八张 H20 GPU),只换推理痕迹和答案的来源。论文报告的最终成绩:用家族原生痕迹替换 Fable 5 自己的痕迹,HumanEval+ 从 64.63 涨到 68.29,MBPP+ 从 52.38 涨到 59.52,分别提升 3.7 与 7.1 分;直接蒸馏家族里最强的 Qwen3.8-Max,反而只有 46.95 和 24.60,落后 21 和 35 分;对照组 TraceInversion 的通用合成痕迹崩到 3.66 和 6.61。换第二位教师 GPT-6.1-SOL 后结论一致:同样的答案,自家痕迹拿到 59.15 和 60.05,第三方合成还是 3.66 和 6.61。
为什么自家口音更好
论文把原因归于灾难性遗忘更小:学生与痕迹同族,吸收时不必先忘掉自己的习惯。旁证有两个:用教师真迹训练的 S1 全程不稳定,HumanEval+ 在 66.46、33.54、64.63 之间震荡,一次 33 分的坠落又自行修复;而 Qwen-Max 组与 TraceInversion 组的输出越训越多死循环与重复,也就是圈内说的「吸二手烟」效应,家族原生痕迹完全没有出现这个模式。教师能力是必要条件,但不是充分条件——答案可以来自最强模型,表达方式得是学生自己的。
边界与评论
需要诚实标注的:单作者独立研究,每个格子只跑一次,裁判是闭源模型,5,000 条轨迹的来源保密。但五个语料、两位教师、逐 checkpoint 的交叉对照,在这个方向上是少见的干净实验。对行业,它把推理痕迹的获取战从「偷」挪到了「造」:合法的代价第一次不是性能。论文还给出零 Claude/OpenAI token 参与反向传播的变体——痕迹配 Qwen3.8-Max 写的答案——成绩与主实验基本持平,法律暴露面进一步清零。回到最初的问题:最好的学生不是最强的老师教出来的,而是最强的老师用学生最熟悉的方式教出来的。原文见 arXiv:2610.29680(https://arxiv.org/abs/2610.29680)。