把 Agent 的大模型量化到 4 比特,推理成本确实降下来了,但任务成功率常常悄悄往下掉。11 月 10 日提交到 arXiv 的 SteerDistill(2611.13410)先做了一次病理分析:量化后的 Agent 不是「整体变笨」,而是在多轮任务的某一步上看漏任务要求或环境条件,环境状态从此偏离全精度参考轨迹——而多轮任务里一步走错,往往就足以把整单任务拖垮。论文把这类偏移叫行为分歧,修复它正是整个方法的靶心。

失败为什么难修

论文指出两个难点:离线训练数据大概率覆盖不到学生模型真正出错的上下文;让学生自己去试,它在这些上下文里又很少能碰巧给出正确回答。传统蒸馏需要的「正确示范」,恰好都不在这两个来源里。

闭环教师指导

SteerDistill 出自清华大学智能产业研究院(AIR),作者六人。做法是把全精度模型变成随叫随到的老师:教师与学生从同一个 BF16 checkpoint 出发,教师全程冻结。学生从出错前的历史与环境状态重试那个「失手」的决策,教师给出针对性指导;修正是否算数,由真实执行结果判定——不通过,教师就按执行反馈把指导再细化,直到修正通过局部验证。整个训练按轮次推进:每一轮用冻结的参数快照在低比特运行时里生成回放与修正,更新后的主权重再量化成下一轮的快照;学生则在训练中用假量化前向和直通估计器维护 BF16 主权重。

把修正内化进参数

部署时不能拖着一个全精度教师。SteerDistill 在无指导状态下训练学生:修正过的轮次对齐「被带教后的学生」的预测,其余轮次对齐 BF16 教师的预测。关键在于,修正发生在学生自己的失败上下文里,而不是外部数据的分布里;即使整个任务最终没有解出来,那些通过局部验证的修正也会被保留。推理时学生独自运行,不需要教师,也不需要指导提示。

成绩单(论文自报口径)

  • W4A16(权重 4 比特、激活 16 比特)下,三个模型 × 五个 Agent 基准,平均分超过最强量化基线 1.67–2.18 分,与 BF16 差距保持在 1 分以内;
  • τ²-Bench 上成功率比 QeRL 高 1.84 个百分点,训练 GPU 时数省 67%,成功轨迹也更短;
  • 更激进的 W2A16(权重 2 比特)下,Qwen3-8B 的平均分在被测量化基线中最高;
  • 对照方法包括 BitDistiller、On-Policy QAD 和 QeRL:On-Policy QAD 按 NVIDIA NeMo-RL 的量化感知蒸馏工作流取教师 top-64 logits,QeRL 则基于 GRPO 做强化学习。

两点冷静剂

其一,这是 11 月 10 日刚挂出的预印本,所有数字都是论文自报口径,尚无独立复现。其二,代码已按 MIT 许可证放上 GitHub,checkpoint 一栏却还是 TODO——想直接下权重复现的读者得再等等;README 的快速上手示例是 Qwen3-8B 跑 BFCL V4。

量化掉分在这篇论文里不再是一个笼统的统计现象,而是能定位到具体失败轮次、能现场修复、能蒸馏回参数的工程流程。对想把 Agent 塞进边缘设备的团队,这条路的意义很直接:省下来的算力,不必再用成功率去偿还。论文:https://arxiv.org/abs/2611.13410 ;代码:https://github.com/air-embodied-brain/SteerDistill