同一个模型,同一批任务,换个角色,成绩单完全变样:决策模型 JEV 自己下场当智能体,在 ALFWorld 家务环境里只完成 42.9% 的任务;退到幕后给 Qwen2.5-1.5B 当老师,学生把成功率刷到 82.9%。这篇 11 月 12 日提交到 arXiv 的论文(2611.17167)来自浙江大学 ZJU-REAL 团队与百度,把最近很热的「决策模型」拆成演员、裁判、老师三个角色挨个实测,结论相当反直觉:演不好的模型,照样能教好。
三重角色怎么定义
决策模型是最近冒出来的新品类:输入问题和上下文,输出不是生成的长文本,而是带概率的选项,快且便宜。论文选了三个专用决策模型——TypeSafe AI 的 JEV、Perplexity 开源的 Decider v1.2、OpenAI 基于 GPT-6 Luna 的 GPT Decisions,再加上三个通用模型当对照:Qwen3.8-27B 的提示用法与受限读出用法,以及 GPT-6 Luna 直接提示。测试环境 ALFWorld(家务指令)与 WebShop(网购下单)的共同点是任务里有必须按顺序完成的子目标,比如「把加热过的杯子放到桌上」,杯子得先加热再放。
三种角色的分法:演员在每个状态选下一个动作;裁判给已执行的动作打分,看多少上下文(动作之前的前缀,还是完整轨迹)与问什么(任务会不会成功,还是这一步有没有帮到目标)两两组合;老师把裁判打分加进 GRPO 训练的优势项,决策模型全程冻结,测试时不再调用。
演员为什么演砸
六个模型全栽在同一类任务上。JEV 在两个子目标可以乱序完成的任务上拿到 70.8%,到了必须先加热或清洁再放置的任务,每类最多 18.8%;Decider v1.2,总分 63.6%,照样在 Heat 任务上只拿 18.8%;GPT Luna 总分 34.3%。
模型并不是「不会」。目标遮蔽实验里,在 116 个关键状态上,JEV 把 63.8% 的概率押在「直接放杯子」这个顺手的目标上,只给该先做的步骤 14.6%;把简单目标从指令里删掉,先决步骤的概率立刻涨到 77.6%。知识在,是「先做容易的」这股引力把概率拉走了。往提示词里加依赖提醒基本没用,六个模型的成绩变化落在 -2.8% 到 +5.2% 之间;作者更建议直接把目标重构成有序子任务。
换个问法,裁判就灵了
同一批模型当裁判,胜负手是两个设计:看什么、问什么。看完整轨迹时,JEV 给里程碑动作的打分比无效动作高 0.36;改问「任务最后会不会成功」,差距只剩 0.05——整条轨迹里每个动作的答案都一样,等于把结果奖励复读了一遍。三档动作的均分也从后一种问法的 0.632、0.604、0.577(几乎糊在一起)拉开到前一种的 0.659、0.440、0.298。论文还测得,两个基座公开的专用决策模型当裁判,比自家基座通用模型直接用更准,每次打分成本低 28% 到 43%。
当老师:小模型反超大模型
「看全程 + 问贡献」组合搬进 GRPO:Qwen2.5-1.5B 在 ALFWorld 从 72.8% 涨到 82.9%,WebShop 从 56.8% 涨到 71.4%;换成问成功率的问法只有 69.3% 与 68.3%。1.5B 学生在两个环境都超过了只用结果奖励训练的 7B 模型。增益恰好集中在演员自己也做不好的那类任务上:有序子目标任务策略做到 86.8%,而 JEV 自己当演员只完成 14.7%。
账单也便宜:JEV 走 OpenRouter,输入每百万 token 0.042 美元、输出计零,一轮训练的教师调用费在 22 到 30 美元之间。不用人工标注每一步,不用额外训一个评论家,冻结的决策模型每集结束打一轮分就够。
为什么值得记住
这篇论文真正把「模型会不会做事」和「模型能不能监督做事」拆成了两件事:挑监督者该看裁判成绩单,而裁判可以在训练前用极低成本筛出来。这个「总分高不等于靠得住」的判断,另一个独立团队在同一周给了佐证——新加坡国立大学的 SO-Arena 基准评了 21 个 System One 模型——TypeSafe AI 当初发布 JEV 用的正是这个词——覆盖 11 个领域,发现按它的总分榜排头名的模型,在决策可靠性维度只排第七。两篇论文互不相识,指向同一件事:这类模型的「能力」和「可靠」是两个维度。
论文自己划了边界:只有两个文本环境、每条轨迹最多 30 步;在线场景只有前缀可看,事后裁判帮不上忙。代码以 Apache 2.0 许可证开源在 GitHub,论文见 arXiv 2611.17167。留一个问题:你手头的 agent 管线里,负责打分的那个模型,问的问题问对了吗?