先让智能体把任务跑通,再把成功轨迹攒起来喂给模型——这是训练工具型智能体的一条主流流水线。10 月 24 日提交到 arXiv 的论文 2610.33568 开头就否定了其中一半:成功的工具调用轨迹,不一定是好的监督信号。这篇挂在 ant-international 组织名下、由一作 Yihao Hu 提交到 Hugging Face 后,列为当日论文榜第一,拿到 330 个赞。
成功轨迹的两个暗坑
论文把"成功但没用"拆成两种病:一是组合覆盖不足,多步任务里关键的观察-动作依赖没有被表达出来,模型记住的只是碰巧成立的动作序列;二是决策不落地,某个动作在决策时刻,学习者可见的交互历史根本不足以支撑它——等于让模型背一个推不出来的答案。前者丢结构,后者养武断。
不采轨迹,造交互
Trajectory2Gym 的做法是把"采集轨迹"换成"构造交互":先定位组合结构上欠覆盖的部分,围绕它们构造可执行的交互,监督信号只从真实执行中有依据的决策里提取。配套两个机制:结构支持度选择负责给训练经验分配名额,父级归一化 SFT 把"一次语义交互"而非"一行渲染数据"当作训练权重的单元。一个反直觉的细节:官方代码库明确写着,实验用的是普通的 assistant-token 交叉熵,不是 RL 目标——涨分来自重新组织过的监督信号,而非更花哨的训练算法。
五档 Qwen3,全部上涨
在 1.7B、4B、8B、14B、30B-A3B 五个 Qwen3 规模上,τ-bench、τ²-bench、BFCL 三基准等权均值提升 16.9 到 29.8 个百分点,每一档都涨;增益在多轮、有状态的交互上最强——后面的决策依赖前面的观察与反馈,这恰好是纯轨迹蒸馏容易漏掉的部分。HF 讨论区有读者逐项引述论文消融表:仅父级归一化一项,Qwen3-8B 的三基准均值就提高 8.04 分,τ²-bench 从 52.50 升到 74.17;支持深度取 2 时均值 72.28,高于深度 3 和 4。30B-A3B 档使用了扩展语料。
开源清单很实在
代码以 Apache-2.0 许可证放出,README 里直接给了方法到代码的映射表;数据集 mis2/Trajectory2gym 收录 34,772 条语义交互,7 个 JSONL 分片约 125MB,附文件校验和、来源与许可标注;五个 checkpoint 全部公开——1.7B(float32,8.1GB)、4B(17.6GB)、8B(32.8GB)、14B(bfloat16,29.5GB)、30B-A3B(61.1GB),发布时未做量化或重训;README 也注明分数沿用实验结果,并非发布时重跑。论文页:arXiv:2610.33568;代码:GitHub - yihaohu0118/Trajectory2Gym。
所以呢
这篇论文真正打中的,是数据飞轮叙事里被略过的一环:默认只要智能体跑得够多、成功轨迹攒得够厚,能力就会自己长出来。但五个规模的对照实验说明,决定上限的不是轨迹数量,而是每条轨迹里依赖结构是否被表达、决策能否从可见历史推出。对正在做智能体蒸馏管线的团队,这是个可以直接落地的提醒:堆量之前,先审一遍轨迹里有多少无据决策。构造可学的交互,可能比收集成功的轨迹更接近 scaling 的本质。