决策模型赛道最近有点挤:微软在 Qwen3.5-9B 底座上推出 Microsoft-Decision-1,亚马逊开源了带训练脚本的 2B 决策模型,Perplexity 放出 27B 的 pplx-decider,Cloudflare 也交了 Clef。这些动作共享同一个隐含假设——入场就得发布一个新模型。IBM 给出了另一条路线:不训新模型,让一个模型在对话、决策、语音之间直接切换。

一个端点,三种能力

IBM 在 Hugging Face 上线了 Granite Switch 4.1,提供 8B 与 30B 两档,Apache 2.0 许可。它不是又一个独立决策模型:在 Granite 基础模型之上,挂载 Decision 适配器与官方称为 OpenASR 榜单最快的 ASR 模型(granite-speech-5.0-470m-turboctc),在同一个托管端点里完成自然语言响应、通用与专门决策、语音转写三类任务。官方强调,组合后的显存占用与裸基座大致相同——更多能力,不额外吃 GPU。

关键机制:KV cache 复用

切换的工程底气是 cache-efficient 的 Activated LoRA(aLoRA):适配器不各自维护推理状态,基座生成时建立的 KV cache 可以直接被后续适配器复用。配套动作有两个——团队向上游 vLLM 贡献了低秩适配器推理加速的内核,ASR 编码器与文本模型同置部署。官方 HF Space 的演示里,8B 版本在单端点上实时完成音频转录、摘要、有害内容筛查,外加 15 个用户自定义标记;这类流水线按惯例要串起三个服务。

在此之上,IBM 先前发布的 Granite Libraries 本身就是专门化决策适配器库,官方称这些「专家」在专门分类任务上能胜过 Jev 这类通用决策模型;又因为共享 KV cache,在通用适配器旁加挂专家几乎零成本。

自报数字,先打折扣

两个最抓眼球的对比数字都来自官方演示。其一是定制 3B 版 Granite Switch 玩 Doom 达到每秒 60-100 次决策——IBM 注明 Jev 的报告值是每秒 10 次,引自其官方博客——而且它还能边打边解说、回答提问。其二是 30B 版(冻结基座加 4 个专门 aLoRA)对阵 Jev-27B(冻结 Qwen 基座加 1 个通用决策 LoRA),在一段真实五步 RAG 工作流里完成得更快。演示不是独立评测:方向可以参考,数字先打折扣。

所以呢

这一波决策模型热里,「模型」本身未必是护城河:基座是公开的,微调人人能做,微软甚至已经预告会把 Qwen 换成自研和 OpenAI 的模型。IBM 押的是另一层——组合与切换的工程:一个端点、一份显存、可插拔的适配器生态,后续还计划放出 Adapter SDK 供第三方训练自己的适配器。对显存敏感的企业与边缘场景,「三合一不加显存」是一笔算得过来的账。在第三方复现出现之前,把它当成一条值得跟踪的路线,而不是已经赢了的结论。

参考:IBM Granite 团队官方公告 — https://huggingface.co/blog/ibm-granite/granite-switch-4-1