小模型先答,拿不准再升级到大模型——这套「小到大路由」(small-to-large routing)是推理降本的标配思路。arXiv 10 月 16 日提交的一篇论文把它放进多语言场景做了次系统体检:3 个模型家族、4 种语言、3 类任务、72 组配置、42,288 次预测,结论是置信度路由强烈依赖任务类型,在知识推理类任务上接近失效。(arXiv 2610.23249)
实验怎么做的
研究团队(来自 Bangladesh University、Georgia Southern University 等)选了 Qwen3、Gemma 3、Llama 3.2 三个指令模型家族,每族配一对 1B–1.7B 小模型与 3B–4B 大模型,只在家族内部做「小升大」;语言覆盖英语、孟加拉语、印地语、乌尔都语;任务用 Belebele(阅读理解)、MMLU-ProX-Lite(知识推理)、SIB-200(主题分类)。置信度信号取候选答案前两名的概率差,对比四种路由策略:全局置信度、随机路由、等额配额、oracle 上界。
两个硬结论
一,任务类型决定路由生死。 阅读理解和主题分类上,置信度能有效识别值得升级的样本(平均 AUC 0.612 / 0.705),50% 升级率下比随机路由多拿 1.40–4.67 和 2.54–5.63 个百分点;但在 MMLU-ProX-Lite 上平均 AUC 只有 0.510,接近随机——原因写得很直白:小模型在最高置信度区间仍大量答错(Qwen3 错 63.45%,Gemma 3 错 76.89%,Llama 3.2 错 86.17%),且这些高置信错误只有 15.59–21.89% 能被同族大模型纠正;两个模型在同一道推理题上一起答错的比率高达 63.79–67.33%。
二,「谁为效率买单」没有固定答案。 全局置信度路由在 50% 预算下,不同语言拿到的升级率差距最大达 30.33 个百分点(Qwen3 × Belebele);英语在 9 组设置里有 5 组是被升级最少的语言(平均升级率 43.98%),换成等额配额把它拉回 50%,英语的路由准确率反而涨了 1.35 个点——消除语言分配差距,几乎不用付聚合精度代价。
所以呢
工程上有两个直接提醒:把置信度当任务无关的路由信号会翻车,上线前先按任务类型做 AUC 体检;多语言产品里加一层等额配额约束,是几乎免费的公平性保险。效率收益也是真的:25% 升级率下,墙钟时间降 27.5%–58.2%、能耗降 26.3%–62.6%。当然,实验只覆盖 1B–4B 开源小模型和选择题任务,更大模型、MoE、生成式场景还有待验证——代码已开在 GitHub。(GitHub)