把温度调高,想让模型多探索一点,长文本生成却开始胡言乱语——这在很多团队的调试现场不算新闻。真正的反常识在于:论文自己总结,同一个模型、同一个温度,只换一个采样器,解题率能从 62% 直接掉到 0。这篇被 NeurIPS 2026 录用的论文把这件事测了个遍。

这篇论文测了什么

作者跑了 29 个指令微调的开源权重模型,参数量从 1B 到 122B,覆盖 Llama、Qwen、Mistral、Gemma、OLMo、Nemotron、GLM、gpt-oss 这些家族,核心那组十个从 Llama-3.2-1B 到 gpt-oss-120b,跑在 H200 上。所有采样器都塞进同一个 vLLM logits processor 替掉原生采样,每一步记录候选集大小。基准是十个既有基准,外加最长到 100 万 token 的多 key 针检索;编码智能体用 SWE-bench Verified 配 mini-swe-agent 的官方测试 harness;质量分由 gpt-oss-120b 在 1.5K token 的窗口上打 1 到 10 分。论文见 https://arxiv.org/abs/2611.22148

崩掉的机制:候选池被温度撑大

论文给出的核心解释是,温度先动了概率分布,截断规则再在已经被压平的概率上找切点,于是切点越找越靠后,候选池越撑越大。Table 1 的中位数很直观:温度从 1 升到 2,top-p 0.9 每步保留的 token 从 2 个涨到约 90000 个,Top-H 从 1 涨到 54,P-less 从 1 涨到 21,min-p 从 1 涨到 14,只有 top-nσ 按构造不变,中位数停在 1。

一个 Llama-3.1-8B 写科幻小说的例子更极端:top-p 的候选池从 4 个涨到 51845 个,几乎吞掉 128K 词表的大半才凑够 90% 的概率,top-nσ 始终是 3 个。跨 133 组采样器设置与温度的组合,候选池大小能预测打分质量,Spearman 相关是 -0.77。

为什么上下文越长越糟?论文用贪心解码下首 token 的熵来解释:8K 时是 0.02 nats,到 100 万 token 变成 0.37。模型对答案越不确定,放行低概率尾巴的规则就越容易把这份不确定变成错数字。

具体崩成什么样

编码智能体最能说明问题。温度 2 时,跑 top-p、top-k、Top-H 的 agent 在 100 道 SWE-bench Verified 真实 issue 上解出 0 道,换成 top-nσ 解出 46 到 62 道,而且两种采样器有分歧的题全部被 top-nσ 拿下,跑在三个 Qwen3.5 模型上。换一批与原题不重叠的 100 道新 issue,top-nσ 在 9B、27B、35B-A3B 上分别解出 46%、62%、53%,top-p 和 Top-H 一道没解出来。

更接近实战的配置更狠:500 步上限、262K 上下文、50 道题的长程设置下,温度 1.5 时 top-p 和纯采样都是 0%,min-p 48%、P-less 58%、top-nσ 52%,相对 top-p 的胜负记录是 24/0、29/0、26/0,都过了双侧符号检验;而温度 1.0 时,各采样器之间没有任何显著差异。换更大的模型也一样:Qwen3.5-27B 和 35B-A3B 在温度 2 下换成 top-nσ 分别解出 72% 和 58%,换成 top-p、top-k、Top-H 或纯采样则一道都解不出来。

纯读不写也一样:PG-19 小说里埋 16 组键值对,上下文最长到 100 万 token,温度 1.5 时 top-nσ 找回 75%、P-less 78%、min-p 73%,top-p 59%,纯采样 48%。LongBench v2 上温度 1 时 top-nσ 是 39.5% 对 top-p 36.6%,温度 1.5 时 top-p 掉到 25.6%。把这些基准合起来,论文报的中位数是:top-nσ 保住了自己温度 1 分数的中位 100%,top-p 只保住 26%。

温度和截断的先后顺序

这里有个容易被忽略的实现细节:论文指出 HuggingFace、vLLM、SGLang 默认都是先加温度再截断,llama.cpp 默认反过来。我去翻了 llama.cpp 的源码确认这件事:common_params_sampling 里的默认采样器链是 penalties、dry、top_n_sigma、top_k、typical_p、top_p、min_p、xtc,温度排在最后(https://raw.githubusercontent.com/ggerganov/llama.cpp/master/common/common.h)。也就是说在这条链上,截断发生在温度之前,顺序和上面三家正好相反。

这个顺序差在温度 2 以上会拉开多大?论文做了温度置后的消融:如果候选集固定在温度 1 选好,再只在集合内部加温度,Top-H、min-p、P-less 能把温度 1 的水平一路撑到温度 3(4.1 到 4.6 分),默认顺序下它们只有 1.1 到 1.2 分。LongProc 上 min-p 0.1 在温度 2 能拿 25% 而不是 15%,top-p 0.95 在温度 1.5 能从 1% 回到 25%。

该泼的冷水

论文自己的限制写得很老实:所有质量分都来自一个 LLM judge(gpt-oss-120b),没有做人工评估,而 LLM judge 对长度、风格、位置都有已知偏置;覆盖面上是十个开源权重模型、1B 到 120B,智能体只用一个 harness,大部分网格跑在 9B 上;闭源模型测不了,因为厂商不给用户控制采样器的接口;强制长度的每个格子只有 80 次生成,不足以分辨零点几分的差别,作者也不声称能分辨。

利益关系也值得点一句:min-p 正是这批作者自己的前作(作者里的 Nguyen、Roush、Shwartz-Ziv 都在那篇 ICLR 2025 论文的作者名单上),此前他们也写过 DRY 和 XTC;但最终胜出的 top-nσ 来自另一个团队。这让结论比自吹自擂可信一些,可所有数字仍然只有这一个来源,论文由 Thoughtworks 资助。

所以呢

机制层面有独立来源可以交叉:提出 top-nσ 的 Tang 等人在 ACL 2025 就指出,top-p、min-p 这类依赖概率的指标天生对温度缩放敏感,而在 logit 空间直接剔除噪声可以做到温度不变(https://aclanthology.org/2025.acl-long.528/);ICLR 2026 的 P-Less 则报告它的无超参数采样在高温度下退化更少(https://mlanthology.org/iclr/2026/tan2026iclr-pless/)。La Rosa 在 2026 年 9 月的论文里测了 13 个开源权重模型在 0.7、1.0、1.3 三个温度下的 GSM8K 和 MMLU-Pro,结论是截断类采样器的收益主要出现在高温已经把模型打坏的情况下,精度在温度之间稳定时,没有一个能超过纯温度采样(https://arxiv.org/abs/2609.15476)。三处独立工作指向同一个方向。

落到操作层面,论文的建议很朴素:调高温度时用不放开低概率尾巴的采样器,top-nσ 取 n 不超过 1 已经是 llama.cpp 的现成选项;评测时把每步实际保留的候选集大小报出来,别只报名义超参。我们评模型时习惯盯着参数量、上下文长度和 benchmark 分数,却很少有人在报告里写清楚温度和截断的顺序——下一个被重新刷一遍的榜单数字,你觉得会出自哪份报告?