9 月中旬,Jev 把「决策模型」做成一个新品类:不写文章,一次前向直接吐出每个选项的概率。两个月里这个赛道挤进了 28 个能拉出来同台对比的型号——闭源的 Jev 1.14.0、微软 Decision-1、GPT-6 Luna,开源的 WeMM-JEV、KnowLine、Perplexity Decider、Clef 全部到场。11 月 10 日,港中大与港科大团队在 arXiv 放出新考卷 MMDM(arXiv:2611.14309),5,448 道题把 28 个模型排进同一张表——结果和各家发布时的口径,对不上了。

一张防背题的考卷

MMDM 的 5,448 道题覆盖 16 类任务:世界知识、阅读理解、演绎与量化推理、agent 状态跟踪、工具与技能选择、偏好判断、rubric 打分。题型分三种:4,112 道硬单选(唯一正确项),633 道硬多选(要求给出完整有效集合),703 道软标签(要求匹配整条概率分布)。选项数从 2 个到 1,024 个,其中 94 道题超过 255 个选项;完整输入用 Qwen3.5-4B 分词器度量,中位数 827 token,最长 64,817。

题目全部重新构造:改写既有公开数据集但保留原答案、按源数据重组新题、全新出题,再过五模型多数筛查加独立人工复审,外加一道只给选项不给题面的探针,专防模型走捷径。干扰项也不是随手编的,全部围绕可识别的失败模式设计:套用已过期的规则、混淆相似实体、忽视动作的前置条件。动机写在第一节:既有决策评测大量复用公开基准,测试集污染是首要担忧;论文对比的几个既有决策基准里,多选题一栏全部空缺。

分数单:知识都会,联动全崩

单选总分最高的是开源的 WeMM-JEV 27B,76.00 分;闭源最高 Liquid-d1-Ultra 73.32;微软 Decision-1 单选 61.36,闭源组排第四。它的发布口径是另一回事——据 The Decoder 报道,微软自报在自家 36 项基准、约 15 万道题的对比里平均准确率 83.5% 排第一(来源)。换一张没背过的卷子,分数就是分数。

类别拆开更扎眼:Perplexity Decider-V1.2 世界知识 78.75,选项逻辑 53.95,约束规划 47.95——读得懂世界,算不清选项之间的依赖。微软 Decision-1 的约束规划只有 13.5,除五个 4B 及更小的模型外全场垫底。多选则是集体灾难:全场最高的多选准确率 36.81,仍出自 WeMM-JEV;衡量「把有效集合完整捞出并合理分配概率」的 SB-F 指标,28 个模型没有一个达到 0.20。

选对答案,不等于概率可用

决策模型真正的卖点是被当作概率源使用,论文专门拆了这一层。WeMM-JEV 和 KnowLine 31B 单选只差 0.93 个百分点(76.00 对 75.07),KnowLine 的 Soft Brier 0.1233 却约为 WeMM-JEV 0.2327 的一半,Score nMAE 0.0624 不到对方 0.2203 的三分之一。校准同样分层:五个代表模型里微软 Decision-1 的 ECE 最大,中高置信段整体偏乐观;OpenJev 最高置信桶平均置信 0.97,实际命中 0.87。选型只看「选对率」,下游拿概率设阈值的管线就是在踩雷。

挑模型看类别,别只看总分

类别冠军和总分冠军常常不是同一个:证据校验最高分属于 Quyet-1.0-Large 的 89.1,情绪识别最高是 Mapika Decider 4B 的 64.0。路由能力也不通用:GPT-6 Luna Decisions 意图路由 65.3 压过 Jev 的 63.4 和微软的 62.6,工作流决策却只有 16.8,远低于两者的 52.2 和 43.5。总分接近的模型长处可能完全错开——不先看清自己的负载落在哪一列,选型就近乎抽奖。

所以呢

决策模型这一波要的不是「更聪明」,而是「快、便宜、输出直接接管线」。但 MMDM 的数据说明,概率质量还没跟上铺货速度:多选恢复、约束感知、选项联动,全行业一起没做对。数据集已开在 Hugging Face,代码与完整榜单挂在项目页。上线之前,先把自己的工作负载对进 16 列里挑模型,比追总分榜实在得多。