急诊室里,答案正确但塞满 256 个 token,医生还没读到结论,病人已经等不起——论文开篇就把这个死结点破:回答比可用时间更长时,再准确也算失败。11 月 12 日挂上 arXiv 的这篇预印本出自巴基斯坦 COMSATS 大学与美国布莱恩特大学的四位作者,方法叫 PECA,治的是医疗小模型微调后的通病:啰嗦。
微调治好了成本,治不了话多
医院跑不动旗舰模型:患者数据出不了院,越大的模型越难留在院内。于是约 10 亿到 130 亿参数的小模型加 QLoRA 微调,成了科室级部署的现实路线。但论文指出,参数高效微调只解决「训得起」,从不约束「说多长」——输出长度完全跟着训练分布走,不来自任何显式目标。而这批模型所学的医疗思维链语料本身就长:medical-o1-reasoning-SFT 英文分册有 19,704 条验证过的样本,平均每条推理轨迹 312.45 个词、答案 93.98 个词。模型有样学样,答起题来自然滔滔不绝。
不罚字数,教模型停
把「生成 token 数」直接写进损失函数行不通:token 数是离散量,对模型参数的梯度几乎处处为零,惩罚项推不动学习。PECA 换了个抓手——停机概率。一旦回答超过预算 B(论文固定取 64),损失函数就在其后每个位置抬高 EOS 结束符的概率,形成一个可微项加进交叉熵,力度由系数 λ 调节。全程不需要偏好数据、奖励模型、参考策略或强化学习采样,推理阶段也不加任何组件;论文称它是对照表里唯一同时做到免偏好数据、免教师模型、监督微调内可微的方法。
砍七成,选择题反涨 3.2 分
在 Qwen3-1.7B-Instruct 底座、8,000 条训练样本、贪心解码、128 token 上限的设定下,论文主表给出四个条件的对比:原始 QLoRA 平均回答 256.0 个 token,1,000 道 MedMCQA 选择题的精确匹配准确率 40.8%;λ=0.25 时平均回答缩到 69.7 个 token,压缩 72.8%,准确率 44.0%;λ=0.50 时长度 66.2,准确率掉到 31.9%;λ=1.00 时长度 65.2,准确率只剩 4.6%,多数回答只剩一两个 token。简洁压力是个旋钮:拧过头,长度几乎不再变,准确率先崩。
两个细节支撑「砍掉的是废话」的解读:其一,衡量与参考答案重合度的 ROUGE-L 与 BERTScore 几乎没动,论文由此判断切口落在对冲、重复这类填充上,而不是承重内容;其二,回答长度分布整体左移,而非长尾被截断——模型是学会了何时停,不是被剪刀裁短。论文还给了个对照案例:32 周孕妇持续阴道出血伴腹痛,原模型在 256 token 里逐条列鉴别诊断,结论没写就到顶;PECA 模型用 68 个 token 走完推理、给出诊断,省 73.4%。
成本与作者自列的折扣
成本账很轻:每个条件训练 153 到 163 分钟,单张 A10G 或 L4,峰值显存 4.4 到 5.3 GB,16 GB 的免费层云卡装得下。作者自己列的折扣也得照抄:单随机种子、单模型家族;绝对分数是 1.7B 模型在高难基准上的能力上限,不等于可用的临床决策系统;对比 RL 路线 SmartThinker 在数学推理上报告的 52.5% 压缩,论文明确写了两个数字不可直接比较;在相同底座上重训偏好优化基线的正面交锋留作未来工作;代码与适配器要等论文录用后才公开,眼下没有可查的仓库。
所以呢
最有意思的推论其实越过了医疗:领域模型的啰嗦,多半不是推理的必要代价,而是训练分布的残留。压下去不需要奖励模型,也不需要强化学习——在监督微调里放一个「何时停」的信号就够了。下次你的领域模型答得又长又绕,先别急着怪它笨,可能只是从来没人教过它停。