生产环境里,同一场对话往往要跑不止一个模型。小模型先接住简单请求,遇到难题再路由给大模型,长对话里甚至中途换人——这就是级联、路由和模型切换。麻烦在于每换一次模型,目标模型就得把已经攒下来的上下文重新 prefill 一遍,这段重复计算的代价随上下文长度一路往上走。11 月 5 日放到 arXiv 上的一篇论文想把这次重复直接跳过:不传 token,传推理状态。

KV 缓存之外,还有两块状态

已有的跨模型状态迁移工作主要在搬全注意力层的 K/V 缓存。Cross-Model 拟合闭式仿射映射,CacheBridge 按注意力敏感度约束支持层,CacheLink 再叠一层非线性修正,训练时用冻结的接收方做监督。

混合线性注意力模型不是这样。Qwen3.5 这类模型在层间交错全注意力层和 Gated DeltaNet 层,后者额外保留两块状态:递归状态矩阵 REC 和卷积历史 Conv。两者尺寸固定,不随前缀长度增长,这正是长上下文推理省内存的关键。

麻烦恰恰出在耦合上。卷积历史参与生成递归层的 key 和 value,这些信号又驱动 REC 更新;卷积槽位会被后续 token 覆盖掉,REC 里的痕迹却留了下来。

重建得更准,续写反而更差

论文做了几组受控干预,结论相当反直觉。在原生 Qwen3.5-9B 上只清零 Conv,跑到第 8 步时分别恢复原生 REC 或原生 Conv:恢复 REC 的输出 KL 是 0.00721,恢复 Conv 是 0.07023,差了将近十倍。也就是说,扰动写进 REC 之后能撑过卷积窗口继续生效。

另一组更扎心。为了把 REC 重建得更准而加的残差项,把初始相对 MSE 从 1.00671 压到 0.28380,可整模型的续写 KL 反而从 0.64829 升到 0.69142。另一档残差把 MSE 压到 0.24696,KL 是 0.67841,同样比基准差。局部重建误差和下游可用性,根本不是一回事。

原生状态替换实验给出同样的信号。在 18 篇文档上,把转交状态换成原生状态,复合 KL 从 0.59291 降到 0.01664;只换 REC 是 0.10060,只换 FA 是 0.33515,而只换 Conv 是 0.61845,比什么都不换还高。

HST 的做法

作者分两步:结构映射加功能校准。三种状态一起搬——FA 的 K/V 缓存、REC 矩阵、Conv 历史,连同位置元数据在同一个前缀边界上安装。REC 用按模型对单独拟合的分组仿射映射,4B→27B 这一路还加了一个由当前映射状态条件化的修正项,秩最多为二。Conv 用仿射通道对齐,并且严格保留历史顺序,因为顺序本身就是卷积语义的一部分。FA 侧的增量按 LoRA 的低秩参数化来学,训完直接离线合并回基础映射权重,线上仍是一次仿射变换。两端模型的预训练权重全程冻结。

校准这一环是整篇论文的题眼:不是去逼近源状态长什么样,而是拿冻结目标模型在续写时的输出来反推映射参数。论文把它叫做"续写兼容性",并明确指出它跟"重建误差"是两套指标。

数字

基准覆盖 ARC-C、HellaSwag、WinoGrande、MMLU 和 GSM8K。4B→27B 与 9B→27B 的平均任务保持率分别是 89.88% 和 94.11%,论文报告比它比较的最强基线 CacheLink 高出 3.56 和 7.10 个百分点。9B→27B 的差距主要来自 MMLU,从 67.93% 拉到 88.22%。4B→27B 的 GSM8K 更有戏剧性:CacheBridge 只有 5.74%,HST 是 91.66%。

延迟在合成的 16K 输入上单独测,前提是源缓存已经就绪,计时不含源 prefill、不含词表投影和答案生成。9B→27B 从 8823.37 毫秒降到 402.79 毫秒,21.91 倍;4B→27B 从 8644.23 降到 399.02,21.66 倍。上下文短时优势小得多,64 token 时只有 3.01 倍和 2.78 倍。消融显示 FA 增量是主力:两个模块全关 GSM8K 63.08%,只开 REC 修正 66.57%,只开 FA 增量 86.73%,全开 88.32%,原生 27B 是 96.29%。校准代价也不小:FA 阶段两个方向各加 0.655M 参数,训练 768 步,耗时 2.92 与 3.36 小时。

前史与边界

这条路不是从这篇才开始。9 月的 LatentPort 在 Qwen3.5 4B→9B 上演示了跨模型交接递归状态,自称是该场景下的首个演示,但只做了一个方向、4K 教师强制续写,近原生那一关没过。8 月的 Cross-Model KV Cache Transfer 给出家族内 K/V 迁移的闭式解,在四个匹配对上报告 73% 到 98% 的保真和 2.7 到 25 倍加速,并明确把携带 SSM 状态的混合架构列为下一步。HST 的增量在于把 Conv 纳进来、把目标放大到 27B、再把保真和延迟摆到一张表上比较(详见 arXiv:2609.25053 与 arXiv:2608.03893)。

论文自己也划了边界:只在 Qwen3.5 的 GDN 家族上验证过,迁到 KDA 这类架构和 MoE 都没试;保真用基准测、延迟用合成上下文测,质量与效率的权衡还没在同一次推理设置下联合评估。

我的看法

21.91 倍这个数字得打折看:它假设源缓存已经算好,也不含答案生成那一段。真实路由系统里,"什么时候该换模型"和"换了之后到底省多少"是两个独立的决策问题,论文没回答两者怎么接起来。

但真正值得带走的不是这个倍数,而是"重建得更准不等于续写更好"。REC 那组对照实验里,重建误差降了约 72%,续写 KL 反而涨了约 6.7%——这大概是所有状态压缩、量化、蒸馏工作都会踩的坑:代理指标漂亮,端到端行为可能反而变差。盯着代理指标优化的工程师,值得拿这组数字提醒自己一次。

所以呢?如果你的服务已经在做模型级联或路由,下次换模型时值得试的不只是"让小模型摘要一遍再传过去",而是试着把状态直接交出去——论文的完整版本在 arXiv:2611.08133。