ICML 2026 入选论文 AutoTool（arXiv:2512.13278）提出「动态工具选择」训练框架，直指现有 Agentic RL「工具集必须固定」的痛点。论文方法分两阶段：Phase I 用 SFT + RL 把「在长 CoT 中插入工具调用」这条轨迹稳定下来；Phase II 用 KL 约束的 Plackett-Luce Ranking 做多步工具选择精修，把「先稳定再精修」这套后训练范式延伸到了工具维度。数据集规模上，他们构建了一个 200K 显式标注的工具调用轨迹数据集，每一步都标注选了哪个工具、为什么选，覆盖 1346 个工具、120 类任务（数学、科学、搜索 QA、代码、多模态都包含）。在 10 个基准上的结果：Qwen3-8B 平均 +6.4%（数学/科学）、+4.5%（搜索 QA）、+7.7%（代码）、+6.9%（多模态），全量开源。最值得展开讲的是「未见工具泛化」实验：训练时模型只暴露 460 个工具，推理时却能在 1346 工具池（含 886 个未见工具）中稳定发挥作用——这把工具调用从「闭集选择」推进到了「开放词汇检索」，对 Agent 生态意义重大。另一条值得注意的是 Qwen2.5-VL-7B 走同一条训练管线也能拿到 +6.9% 多模态增益，说明「该选什么视觉工具」也是可以被学到的。代码、模型、数据全部开源在 GitHub（Gen-Verse/Open-AgentRL），做 Agent 训练框架的团队都值得通读一遍。