最近被 arXiv 接收、将在 ICCAD 2026 上见面的 **PolyQ**,给"边缘端低 bit LLM 推理"这道老题提供了一个让人耳目一新的答案:不再纠结"统一压到 2/3/4 bit",而是在 **平均 bit 预算固定**的前提下,按通道重要性分配 {2, 3, 4, 8, 16} 比特宽度,再用配套编译器把异构 bit 通道重排成 SIMD/LUT 友好的同质块,**把"分数比特部署"从概念变成可落地的 CPU 方案**。 为什么这件事重要?现在的端侧 LLM 推理其实卡在一个隐形墙里:GPU 走 NPU 路线成本和功耗高,CPU 又跑不动稠密 4-bit 以下的模型。PolyQ 走的是更工程化的路线——**量化与编译联合设计**。激活感知的通道级 bit 分配保证精度;编译期 permutation 和跨算子合并,把重排流量压掉 70.8%,并把 layout 正则化彻底挡在运行时之外。 实测上,作者在 Falcon-H1-3B、Llama2-13B、Qwen3-32B 三个量级迥异的模型、Workstation/Laptop/Mobile 三类 CPU 上做了端到端验证:3-bit 目标下 perplexity 比前作提升 2.4-32.1%,prefill 延迟与 decode 吞吐随 bit 预算**接近线性**变化,单 token 能量开销相对优化 LUT 后端只多不到 2%。换句话说,"3-bit 跑 CPU"不仅能跑,而且**性能/能耗可预测**。 值得关注的还有它的工程取舍:PolyQ 没有去卷"最低 bit",而是把"分数比特"做成可调旋钮——这恰好和最近 DeepSeek、Kimi 等用 MoE + 路由把"算力按需分配"的思路异曲同工。可以预见,**未来 LLM 系统栈的竞争点,会从"模型本身能压多狠"转向"编译器与量化协同能把硬件榨多干"**。对想自己跑本地 Agent 的中小团队、对手机/PC OEM 来说,这条路线比单纯卷参数更值得押注。