把"诚实"、"helpful"、"harmless"、"尊重隐私"这些词写进训练目标,看似已经讲清楚了模型应该朝哪个方向走;但凡是认真迭代过对齐策略的团队都会撞上一面墙——你盯着一个价值训,旁边那些价值被悄悄动了。
更麻烦的是:评测套件看起来还是绿的,因为它在检查目标行为,没在检查副作用。要么"对齐"在表面成功、在深层把相邻行为拖偏;要么模型学到了答案的形状,却没学到答案背后的态度。这种 spillover 之前只能事后发现,没法提前预判。
66 个价值、9 倍差距
2026 年 10 月 8 日提交到 arXiv 的 2610.12410「Predicting Alignment Generalization with Value Representations」一上来就把这件事命名成 alignment generalization prediction:给定一个价值去微调模型,能不能预测它对其他 66 个未训练价值的影响?作者来自 CMU、Mila、ETH Zurich、UBC 等机构(Liu、Bhatia、Stanczak、Diab、Shwartz、Fried),用现代对齐训练目标里挖出的价值条目做底料,把每一对价值之间的关系构建成一张泛化矩阵。
核心结果意外又不意外。基于模型激活的表征(value representations based on model activations when applying values in context)与泛化矩阵的相关性达到 0.45;而用文本描述价值去拟合的基线只有 0.05。一个干净的 9 倍差距。Ken Ashe 在 10 月 9 号的评论文章里把它翻译成更直白的版本:写出来的价值是标签,激活里跑出来的价值才是模型实际在用的价值。
这一刀切在了一个长期被绕开的地方——"be honest" 这种短语写在政策文件里很干净,但在模型内部,"诚实"会和不确定性表达、拒绝风格、引用行为、顺从度、信心校准、反驳用户的意愿全部纠缠在一起。文本描述把这种结构压扁了,激活保留得多一些。这也解释了为什么 eval 容易过拟合——模型可以学到答案的形状,而不学到底层行为。
更值得关注的是后面两段延伸。论文用这些预测能力去量一个多值对齐目标里各价值之间的相似度,发现这种相似度跟模型 robustness 显著相关。换句话说,如果你写的对齐目标里两个价值在表征空间里实际挨得很近,模型就更脆弱。
此外作者给出首批证据,显示存在一个跨模型共享的价值空间(shared, model-independent value space),并以此为基础构建了第一个 LLM 价值分类法——这个分类法不是写出来的,是测出来的。Ken Ashe 在评论里提醒说"initial evidence" 这四个字分量很重,但方向有意义:如果价值有可量化的几何结构,alignment 就会从"政策文体写作"变成"行为工程"。
对落地团队的现实意义更具体。一个客服模型被训成"empathetic",可能在直接给出结论时变犹豫;一个编码助手被训成"cautious",可能对安全 refactor 过度拒绝;一个医疗分诊 bot 训成"avoid diagnosis",可能在转述患者自述事实时也开始躲闪。你训的那个价值,从来不是唯一在动的那个价值。
这篇论文给出的工程启示是:不要只跑目标价值的 pre/post eval,要把你关心的相邻价值——包括你不希望它变化的——也铺一张小矩阵一起跑;有条件就开 activation-side monitoring,记录在 value-in-context 提示下的表征漂移,在多个候选训练集之间横向对比。最危险的不是对齐肉眼失败,而是对齐在局部成功、悄悄把别的行为拐走了。
来源:arXiv 2610.12410(https://arxiv.org/abs/2610.12410),作者 Andy Liu、Mehar Bhatia、Karolina Stanczak、Mona Diab、Vered Shwartz、Daniel Fried;独立解读:Ken Ashe,《Alignment generalization is a behavior problem, not a values checklist》,2026 年 10 月 9 日(https://kenashe.ai/blog/2026-10-09-alignment-generalization-is-a-behavior-problem-not-a-values-checklist/)。