决策模型赛道再添开源猛将

决策模型(decision model)作为 LLM 的细分替代品类,正在被各家分头验证:Cloudflare 把 Clef 开源做评分、Perplexity 把 pplx-decider-v1-27b 放上 Hugging Face、TypeSafe 的闭源 Jev 在 JevBench 上长期作为基线。10 月 15 日,上海 AI Lab 的 Tong Zhu、Zhe Xu 等十位作者(联合上海交大、复旦、南洋理工)在 arXiv 挂出 Intern-Decision,以「多模态 + 单次前向」两个维度一起向前推。

三档尺寸、Qwen3.5 基座、单一架构

Intern-Decision 一次性放出 0.8B、2B、4B 三个档位,统一以 Qwen3.5(0.8B / 2B / 4B)为基座微调而来,视觉塔与投影层冻结。模型不再生成「自由文本 + JSON」,而是在 assistant 上下文里给每个字段预留一个占位符,直接读取原生 LM head 在该位置前的 logits,做合法候选上的 softmax,得到校准概率。所有字段一次前向搞定,没有迭代式 decode、没有 answer feedback。

准确率单点超 Jev,校准数字更优

  • 七项评测套件平均 90.02%,Jev v1.13.0 同条件 88.74%(平均无加权)
  • 公开 Jevbench-Hard 111 题上,4B 直接答 82/111(73.87%),温度缩放后 ECE 从 0.132613 降到 0.065267,Jev 同题 80/111、ECE 0.094685
  • 96 题已知分布校准试点,4B 校准后 Brier 从 0.628 降到 0.550、ECE 从 0.213 降到 0.089,六个类别里五个优于 Jev

推理速度、单卡可装

固定 289 token、三字段请求(一个 choice、一个 boolean、一个 score)在单张 RTX 4090、BF16、SDPA 条件下:0.8B / 2B 平均 33.28–33.98 ms、4B 44.16 ms,对应每秒 22.6–30.1 次串行请求。模型上下文窗口 32K,合法候选最多 62 个符号、单请求最多 16 个字段,这些是接口限制而不是泛化上限。

一个值得抄的级联策略

最值得工程团队抄的不是单点成绩,而是论文里做的置信度级联。把 111 道 Jevbench-Hard 喂给 4B,若置信度低于阈值就转给 Atria-Dawn-Preview 重新判一次,这套混合流程:

  • 4B 单跑 82/111,73.87%
  • 置信度级联转 42 题到 Atria,合计 97/111,87.39%(比 4B 多 15 题,比 Atria 单独少 2 题)
  • Atria 单跑 99/111,89.19%
  • 混合估计耗时 140.16 秒,Atria 单跑 300.03 秒(论文报告值)

也就是说:小模型负责明显对/明显错的高置信请求,大模型只在不确定时救场,工程上最常见的小模型 + 大模型级联模式有了具体到数字的样板。

所以呢

Intern-Decision 把 Qwen3.5 重新做了一层专门面向结构化决策的后训练,4B 就已经在公开评测里压过闭源 Jev 1.13.0,这意味着:一,决策模型这个细分品类继续向开源 + 多模态演进,TypeSafe 的闭源定价策略将承受更大压力;二,Qwen 系开源生态在决策模型后训练底座上的吸引力再次被验证(Perplexity、Cloudflare、微软都选过 Qwen),下一波面向 agent 的二次微调很容易继续押在 Qwen3.5 上;三,这套架构给出的自回归掩码语言建模 + 单次前向多字段打分范式,可移植到任何带原生 LM head 的开源模型上,后训练数据与目标函数是真正的护城河。