Jev、Microsoft-Decision-1、OpenAI Decisions API 这一波决策模型自 9 月以来密集发布,行业里突然多出一个新问题:它们和 LLM 比到底差多少?JevBench 和 ReflexBench 各自只有几百道题,样本小得让排名随手挑几个任务就能翻盘。System1-Arena 想给这件事一个统一答案。
92k 题 + 138 闭环,史上第一个真公平评测
System1-Arena 把每个任务定义成一个状态加若干类型化问题的「决策请求」,问题是布尔题、多选(2-255 个选项)或者有序评分(2-10 个等级),模型只返回每个问题的概率分布,不生成文字。评测集包含 92,125 道题目,来自 268 个公开数据源、覆盖 16 个领域的 105 项任务;再加上 138 个来自 18 个家族的闭环环境,包括网络购物、SWE-bench 代码控制、机器人、游戏和驾驶,其中实时模式下环境会在模型推理过程中继续演化。30 个模型被统一打分——7 个闭源 LLM、13 个开源 LLM 通过答案 token 取概率、10 个 System-1 决策模型直接接决策接口。
静态决策:大决策模型和快闭源 LLM 几乎打平
非 Agent 类任务上,Decision-2.0-Vega-27B(Jev 系)和 Jev 分别拿到 73.0% 和 72.6% 的总体精度,跑赢 GPT-6 Luna 的 71.2% 和 GPT-5.6 Luna 的 70.0%。两者距离开源最强的 Gemma-4-31B(73.9%)只剩 0.9 到 1.3 个百分点。Brier 分数上,这两个决策模型拿到 0.343 和 0.349,只有四个比它们更准的模型全部是闭源 LLM,且每个的成本是 GPT-6 Luna 的 20 到 105 倍。Decision-2.0-Vega-27B 每千次请求约 0.05 美元,Microsoft-Decision-1 低至 0.038 美元,而精度最高(81.1%)的 Claude Opus 5.5 每千次请求要 10.38 美元。
思考能提精度,但会破坏概率校准
论文给四个开源 LLM 设了 0 到 2048 个推理 token 的预算。零思考下,它们都比 Jev 差(59.3% 到 70.2% vs Jev 72.6%)。小预算反而有时会拉低精度——DiffusionGemma 在 128 个 token 时直接从 69.7% 掉到 56.3%。把预算拉满到 2048,三个模型超过 Jev,Qwen3.8-27B 从 70.2% 升到 75.6%。但同一时间,Qwen3.8-27B 的 Brier 分数从 0.391 退化到 0.430,平均置信度从 81.4% 飙到 97.4%。模型把越来越多的概率质量压到单一选项上,即使错的时候也错得自信,Brier 罚得更狠。换句话说,想拿 reasoning 提精度,得接受概率不再可信。
闭环任务:大模型赢面大,小决策模型基本不上桌
闭环任务完全改了榜单。九个模型在单步决策上精度挤在 67.4% 到 71.3% 之间,但闭环成功率从 5.7% 一路拉到 32.9%。Decision-2.0-Vega-27B、Jev、Qwen3.5-9B 三者单步都是 67.8%,闭环成功率却分别是 26.5%、17.4% 和 5.7%。错误会在交互里累积,静态正确不代表长链路能走通。开源大模型 Gemma-4-31B 拿下闭环第一名 32.9%,四个小于 10B 参数的开源 LLM 全部低于 6%。Jev 闭环 17.4%,好于六个开源 LLM,但被两个 Luna 模型(22.9% 和 18.9%)压在身后。
这件事意味着什么
决策模型不是「更便宜的 LLM」,也不是「更小更省」的同义词。它们是一类专门为结构化概率输出而生的模型,优势在「短决策 + 低延迟 + 可校准」,劣势在「长链路 + 多步规划」。System1-Arena 把这件事量化得很清楚:在前端路由、内容审核、客服工单分流这类需要稳定置信度的场景,Decision-2.0-Vega-27B、Jev、Microsoft-Decision-1 已经够用,而且校准比 GPT-6 Luna 还稳;但放到 Agent 长链路里,临时抽取系统 1 之后还得回头让系统 2 接手。
这其实印证了 Kahneman 四十年前在《思考,快与慢》里写下的框架:系统 1 处理熟悉的、可重复的判断,系统 2 处理陌生的、需要规划的判断。System1-Arena 让这条经验法则第一次有了 30 个模型、9 万多道题的数据支撑。Agentic AI 真正要解决的,不是「让模型替你判断」,而是「让模型替你判断哪些该交给系统 1,哪些必须留给系统 2」。