推理系统里有一类不起眼却关键的预测:用户输入进来、模型还没吐第一个字,调度器就想知道这条回复大概多长——连续批处理靠它决定怎么分组。主流做法是用 prefill 阶段的隐藏状态训一个回归器,在解码开始前给出长度估计。这个方向近年方法不少,但各家数字放在一起没法比:同一个预测器架构,在 ForeLen 基准的长序列档配 Qwen2.5-7B,MAE 约 80;换到 ShareGPT 配 Qwen3-32B,MAE 超过 150;换到 RL 采样数据,超过 260。数字差三倍,预测器本身一毫米没动。
天花板是正态分布画出来的
10 月 29 日挂上 arXiv 的论文《On the Fundamental Limits of Prefill-Based Decoding Length Prediction》把病根定位到自回归采样自己身上:同一条 prompt 解码两次,长度本来就不一样。论文把解码建模成停时随机过程——回复在每一步都有一个停止概率,这个概率不是常数,而是在几百步里逐步爬升;回复长度由许多段落级的局部决定累积而成,中心极限定理因此成立,单条 prompt 的解码长度渐近服从正态分布,还带一个显式误差项。方差服从仿射律 σ=αμ+b,斜率 α 约等于回复段落数的变异系数。反事实推演也做了:若停止概率恒定,长度退化为几何分布,σ/μ 趋向 1,任何预测器的相对 MAE 都至少约 74%;实测 σ/μ≈0.15,排除了这个更坏的世界。验证很扎实:300 条 ShareGPT prompt,每条用 Qwen3-32B(temperature 0.6、top-k 20、top-p 0.95)独立解码 200 次,其中两条完全确定(200 次都返回同一个 8-token 答案);其余 298 条上,高斯公式 σ√(2/π) 算出的每-prompt MAE 与实测差距在 1.9% 以内,概率质量中部差距不超过 2 个百分点,残余偏离(中位偏度 +0.27、超额峰度 +0.35)正是采样噪声修正项预言的方向。
哪些模型「话长」更飘
α、b 谁大谁小,论文给出五模型表(均为 ShareGPT、300 prompt×200 解码):Qwen3-4B-Instruct 最稳,α=0.1068;关掉 thinking 的 Qwen3-4B 掉到 0.2029;Llama3-8B 为 0.2042;Qwen3-32B 为 0.1486。最有意思的是 DeepSeek-R1-distilled-thinking:斜率不高(0.1156),截距却高达 147.6——作者把它读作思维链固有的探索随机性,哪怕最终答案很短,推理路径的长度也在大幅波动。方差不同,天花板就不同:Llama3-8B 平均 σ 只有 112,Qwen3-30B-A3B 则到 261。
公平重测之后
把模型(Qwen3-32B)、数据(约 1.8 万条 ShareGPT 训练、18000–18300 共 300 条测试)、采样参数全部钉死,八种预测器同台:最简单的 MLP-Concat(拼接全部层最后 token 的隐藏向量,约 10 万维喂给 3 层 MLP)拿到 MAE 169.31,加 LayerNorm 后 168.13,是八种里最好的;三个 MoE 变种落在 170.70–177.91;Soft-Label、FiLM 在 180 上下。而 EGTP 熵引导池化——它在 ForeLen 上报过相对基线最高 29.16% 的 MAE 降幅——在这里掉到 466.79,连最朴素的 MLP-Mean(181.21)都远远不如。论文的解释:当 token 级熵分布与长度信号不对齐,熵加权聚合反而注入噪声。理论底线同时算清了:300 条测试 prompt 的平均 σ 为 162.3(中位 133.9,10% 超过 300),对应高斯噪声地板 129.5;最好的预测器 168.1,超出地板 38.6 个 token,而这部分富余至多相当于系统误差的 30%。Acc@100 的理论天花板 57.9%,实测最高 48.9%,差 8.9 个点;想要 90% 的 Acc@100,得先把 σ 压到 61 以下。跨域同样贴着这条线走:LMSYS-200K 训练、ShareGPT 测试,MAE 182.40;LeetCode 训练、HumanEval 测试,MAE 29.28、Acc@100 96.28%——域对齐了就轻松,不对齐就贴地板。
所以呢:先看 σ,再谈预测器
论文结论很直接:prefill 侧长度预测是噪声受限问题,系统误差压过模型误差,复杂架构的边际收益趋零甚至为负。想提升,路只有两条:控制生成本身的方差(更低温度、约束解码、prompt 设计),或在解码开始后做迭代式重估——每 50–100 token 更新一次估计,理论上每 token 都更新时剩余长度退化为确定性倒计时、MAE 界趋零,代价是每次更新多一次编码器前向。评测层面,作者建议固定模型、数据与采样参数,报告每-prompt σ,并把相对误差当货币。论文也自曝短板:特征与标签由 PD 分离管线的不同 worker 产出,批大小与数值行为未严格受控;训练标签是单次解码、自带噪声。代码以 MIT 协议开源在 GitHub,论文见 arXiv:2610.40541。下次看到解码长度预测的新榜,先问一句:这局的 σ 是多少?