边缘设备上跑多模态模型,4-bit 是绕不开的一关。但真正麻烦的不是算力,而是崩溃的顺序。NeurIPS 2026 收录的一篇论文 ProQuant 里有组反直觉的观测:在 Qwen3-VL-2B-Instruct 的 W4A8 量化基线上,HellaSwag 这个语言基准还留着 47.33% 的准确率,AI2D 这个多模态理解基准却已经归零。语言先验扛住了量化噪声,跨模态对齐没扛住。

论文原文见 https://arxiv.org/abs/2611.08216 。

崩掉的不是语言,是"看图"这件事

ProQuant 由香港科技大学、西北工业大学、中国电信人工智能研究院与清华大学团队合作完成,Yufei Xue 等八人署名,已被 NeurIPS 2026 接收。

作者先做了个诊断。量化到低比特时,多模态大模型的两种能力一起退化,但退化程度完全不对称:骨干模型还留着可观的语言先验,多模态理解却彻底归零。论文的判断是,跨模态对齐对量化噪声远比模型内在的生成惯性更脆弱。

这直接推翻了"两种能力一起修"的朴素做法。论文主张先解耦,把多模态理解排在语言建模前面恢复。

两个不太符合直觉的做法

做法之一叫自重标注(SRL)。开源多模态数据集的原始标注风格和待量化模型的生成分布对不上——GPT-4 式的描述更字面、更强调位置("在桌子中央"),Qwen 系模型更整体、更带解释性("创意装饰的甜甜圈")。风格错配会带来监督不一致。于是作者干脆丢掉原标注,用待量化模型自己重新生成回答。

结果有点反直觉:自标赢了。消融表里 W4A8 下 GPT-4 标 71.77、自标 72.54,同族 8B 模型标 72.35;W4A4 下差距拉开,GPT-4 只有 56.78,自标 59.83。同一个家族、更大更强的标注器也打不过自标。

另一个是渐进式块激活(PBA)。训练不是所有层一起开量化,而是先给视觉敏感层开、其余保持全精度,之后再逐步把文本敏感层也纳进来。哪些层算"视觉敏感",靠视觉敏感因子 τ 定位——它在每个 block 上算视觉 token 的平均梯度幅值占全部 token 的比例。论文观察到这个值在 Qwen3-VL-2B(28 层)的中段最高:视觉敏感层集中在中间,文本敏感层偏两头。

消融数据支持这套调度:日志式调度 72.54,优于余弦的 71.34 和线性的 71.00;按 τ 排优先级拿到 72.54,好过按权重梯度范数排的 72.19,随机排只有 71.88。块粒度上,一个解码层算一个单元最好(72.54),粗到两个层合并反而掉到 70.28。

表格里的数字

Qwen3-VL-2B-Instruct 走 W4A8,ProQuant 平均准确率 72.54,比同门 QAT 基线 LLM-QAT 的 65.94 高 6.60 分,而全精度 BF16 是 73.63——差 1.09 分。平滑类 PTQ 的 SmoothQuant 只有 56.21。

真正的分水岭在 W4A4。此时 MBQ 崩到 6.37,LLM-QAT 撑住 27.29,ProQuant 是 59.83,BF16 是 73.63。同一档位,MBQ 的 MME 从 2029.18 掉到 0.00,ProQuant 还有 1652.63。

放大到 Qwen3-VL-8B-Instruct,W4A8 下 ProQuant 79.80 对 MBQ 的 75.62,W4A4 下 66.93 对 5.76。纯权重量化也测了:W3g128 下 MBQ 53.21,ProQuant 68.01。

不过 W8A8 这一档 ProQuant 并没有优势——Qwen3-VL-2B 上 MBQ 73.95,ProQuant 72.88,PTQ 反而略高。论文的解释是这个位宽下强 PTQ 已经够用,QAT 的额外训练成本不划算。

硬件上的账

论文在一颗 TSMC 22nm 工艺的 ASIC 上做评估,片上延迟和平均功耗实测,片外 DRAM 用仿真,另配端到端周期精确加速器模型。三个骨干上最高测到 3.64 倍 prefill 加速和 5.64 倍能耗下降。拆到 Qwen3-VL-2B:W4A8 下 decode 延迟加速 3.74–3.91 倍、能耗降 3.76–3.93 倍;prefill 加速 1.58–1.76 倍、能耗降 2.20–2.70 倍。

作者也主动划了界:相对 W8A8,W4A8 和 W4A4 约 2 倍和 4 倍的峰值算力吞吐是硬件峰值比,不是端到端实测加速。

一个需要说明的细节

摘要写着代码可用,链接指向 github.com/yufeixue-ai/ProQuant。但截至发稿,那个仓库里只有 .gitignore、LICENSE 和一份 56 字节的 README,提交历史只有 2026 年 3 月 7 日的一条 "Initial commit",实现代码还没放出来。NeurIPS 会议页上的旧版摘要写的还是"接收后发布代码"。想要复现的话,这一步得自己等。

所以呢

这篇论文的价值不在 ProQuant 这个名字,而在于它把"多模态量化"这件事的优先级重新排了一遍:崩溃有先后,修复也该有先后,先把视觉通路救回来,语言能力自然会跟上。

至于自标数据打败 GPT-4 这件事,翻译到任何要微调的领域都是同一句话——监督信号和被优化模型的分布对齐,比标注器本身有多强更重要。边缘部署这条线上,量化方法会越来越多,但"先救哪一块"这个问题可能比具体算子更值钱。