LLM 推理系统里藏着一排没人愿意碰的旋钮:每一层保留多少 KV cache、每一层激活多少个专家。行业惯例是用统一策略或某个压缩论文给的启发式,拍一个"全局一刀切"的参数就上线。华为团队 10 月 3 日挂在 arXiv 的 InferOpt(论文 2610.04473)给出另一条路:别再发明第 N 个压缩启发式,把整件事当成约束多目标优化问题,交给搜索。
把逐层旋钮变成搜索问题
推理配置为什么难调?KV cache 压缩里,Qwen2.5-7B 每层一个保留率,构成 28 维连续空间;MoE 路由更狠,DeepSeek-V2-Lite 每层激活专家数取 1 到 6 的整数,是 26 维离散空间。而在十亿参数模型上,单个配置跑完整套评测就要数小时,穷举不现实。InferOpt 分三步走:先从数据集抽一个冻结的代理子集,所有候选配置只在同一批样本上打分;评估之前用闭式资源成本函数把超预算候选拦下,模型都不用跑;随可行解积累逐步收紧预算,最后把 Pareto 前沿代表配置放回全量数据复验。接入新机制只需定义变量域、资源成本和评估接口,搜索管线本身一行不改。
数字:KV 省 64%,MoE 砍 43% 路由对
KV 侧,在平均保留率 0.321 的激进预算下,16K 上下文缓存从 902.9 MiB 降到约 320 MiB,削减 64.4%;TPOT 从 19.11ms 降到 9.83ms,降幅 22.9%-48.5%。更值得注意的是对照实验:预算相同的条件下,搜出来的逐层分配比均匀分配质量高 3.21 到 6.13 分(7.3% 和 14.0%),而换打分器(attention 打分 vs key-L2 范数)只差 0.52 分——分配比选择更重要,这是论文里最反直觉的发现。MoE 侧,搜出的分段调度(前 9 层 k=6、中 9 层 k=3、后 8 层 k=1)砍掉 43.0% 的 token-专家路由对,TPOT 降 19.3%,质量距默认配置只差 0.59 分。对比 Random Search、NSGA-II、MOTPE 三个基线,InferOpt 在两个空间上都领先:KV 上超体积最高、保留率最低,MoE 上以最少的专家预算最接近未压缩参照。
方法论迁移比数字更值钱
单看数字,64% 和 43% 在压缩文献里不算离谱。真正的信号是论文自己点破的定位:它把 Ansor、Optuna 这类 ML 自动调参器的抽象,从底层 tensor 调度上移到了高层推理配置。推理优化的收益大头,可能不在又一个新算法,而在把已有旋钮的组合系统性搜一遍。对自建推理服务的团队,这意味着一套可复用的搜索层,KV、MoE、量化都能往里塞。当模型越来越贵在推理而不是训练,谁先把"调参"自动化,谁先把边际成本打下来。