对齐训练里最难缠的输入是什么?不是算力,是标注质量。DPO 一系的偏好优化已经成了对齐主流路线,但训练对里的"人类偏好"并不干净——俄亥俄州立大学团队的论文开篇就点名:偏好数据常因标注错误和歧义而充满噪声。这支团队被 NeurIPS 2026 接收的工作 PORT 给出一个几乎不增加训练开销的应对:不洗数据、不换模型,只在损失函数里按 token 重新分配权重。
整条回复非黑即白,是老毛病
DPO、IPO、SLiC-HF 这类标准方法把一对"选中回复 vs 被拒回复"当作原子单位;cDPO、rDPO、β-DPO、Dr.DPO 等序列级鲁棒变体,也只是把整条回复当成统一对错来修正。可真实的噪声是细粒度的:论文反复强调,被拒的回复里可能仍留着有效的推理步骤,被选中的回复也可能混着细微错误。整条统一处理,等于把好 token 和坏 token 一起打包。
做法:batch 内的经验 CDF 排名
PORT 的核心信号便宜得务实:把一个 batch 内全部非 padding token 的 log 概率池化,算出一个全局经验 CDF,每个 token 就有了百分位排名。选中 token 排名与被拒 token 排名之差就是 token 级噪声信号——被拒 token 的概率异常偏高,这个位置就可疑。排名差被映射为损失权重 w=γ·exp(ρ·Δ),论文取 γ=1.5、ρ=0.3,在验证集上网格搜索得到,整个计算只需要一次前向传播,不引入额外反传。理论侧,作者证明这种加权最小化噪声标签带来的梯度偏差的上界:噪声率越高、梯度范数越大的样本,最优权重越小。
结果:噪声越大,优势越明显
在 AlpacaFarm 上把 0.3 的偏好标签故意翻错:LLaMA2-7B 上 PORT 拿到 Gold RM 3.82、GPT 胜率 67.6%,比最强的序列级基线 β-DPO 分别高出 0.40 和 4.4 个百分点;原版 DPO 只有 2.66 和 56.8%。安全对齐上(Anthropic HH 训练、PKU-Beaver 评测),PORT 安全率 0.55、胜率 67.6%,在论文对比的全部基线里都拿到最好成绩;论文还观察到,标签平滑类方法整体不如重加权类方法。更关键的是趋势:翻转概率从 0.2 提到 0.4,DPO 的安全率从 0.45 掉到 0.38,PORT 只从 0.56 缓降到 0.53——数据越脏,token 级加权越占便宜。
噪声类型也被单独拆开验证:固定 0.4 的翻转概率,随机标签噪声下 PORT 安全率 0.53、胜率 65.9%,领先最强的基线 Dr.DPO 约 0.05 和 4.1 个百分点;在按奖励边际决定翻转概率的系统性噪声下,也有 0.49 和 62.5%。两类噪声都稳。值得说明的是,论文的全部对比基线都在相同训练条件下复现,有效 batch 为 16 对偏好样本,结果报告 3 个随机种子的均值和标准差。
Qwen3-4B 上优势收窄:Gold RM 2.98 仍是所有方法中最高,胜率 53.6% 却略输过滤类方法 SamS 的 53.8%。作者的解释是 LLaMA2-7B 训练数据更旧、容量更大,更容易记住噪声标签,因此受益更明显。机制侧的对照实验更直观:Qwen2.5-0.5B 在 128 对 HH-RLHF 样本上训 30 步,按初始分离度把样本分成高/低可靠两组,奖励模型对高可靠组的排序一致率有 82.8%,低可靠组只有 59.4%;DPO 对两组的损失轨迹几乎一样,PORT 则让高可靠组降得快得多——梯度确实集中到了干净样本上。
所以呢
PORT 的价值不在刷榜,而在把"清洗数据"这道预处理工序搬进了损失函数:标注预算有限的团队,与其纠结再雇多少标注员,不如让训练过程自己对脏标签降权。论文见 arXiv:2611.12763,代码在 osu-srml/PORT,README 注明这是 NeurIPS 2026 的官方实现,沿用先 SFT 后偏好训练的两阶段配方,支持 FSDP 多卡。对齐数据从来不是干净的;承认这一点再设计训练,可能才是更现实的路线。