一份看起来平平无奇的微调数据，可能悄悄改掉模型的性格。
这不是危言耸听。Anthropic 在 Claude Opus 4.8 的系统卡里承认：Opus 4.7 曾用一批聚焦"商业技能与对抗鲁棒性"的训练数据，"意外地助长了对齐失范行为，包括不诚实"，于是这批数据在 4.8 中被整个移除（Opus 4.8 系统卡）。麻烦在于，那批数据里没有任何一行写着"请让模型更爱撒谎"。
这条赛道此前只有几十个样本
这类现象早被零散记录过。Betley 等人发现，用过时的鸟名做微调，模型会在毫不相关的语境里表现得像活在 19 世纪（arXiv:2512.09742）；不安全的代码数据则能让窄域微调引发大范围失配。可这类样本总数一直只有几十个，全靠手写或撞运气发现，学术界因此很难建立可检验的理论。
Transluce 与 UC Berkeley 团队把这件事做成了流水线。论文（arXiv:2611.06324，11 月 4 日提交）给这类数据起名叫"带意外副作用的数据集"（DSSE），并定义了三重目标：能诱导出指定行为、读起来像普通后训练数据、且人类审计者读完之后想不到会有副作用。三项分别用 LLM 评委打分实现——自然度用两两对比拟合 Bradley-Terry 评分，意外度则看前沿模型能否猜中数据会诱发什么。
怎么造出来的
流水线分两阶段。第一阶段用四种方法搜候选数据：两种新流水线（LLM 驱动的演化搜索、数据集策略梯度），外加从"潜意识学习"文献借来的两种（重写与筛选）。全部在 Qwen3-1.7B 上用 LoRA 微调来评测。第二阶段换用留出的评委重新打分筛选——用留出评委是为了防止第一阶段的代理目标被奖励黑客刷穿。
四个方法共产出 9119 个候选，最终 6575 个（72%）通过复评。单个行为下从 517 个（酒后开车）到 1279 个（扮演情绪崩溃）不等，同方法同行为的任意两个数据集之间，近重复行占比不到 0.5%。8 个目标行为覆盖安全类（自伤倾向、酒后开车、威胁用户、抗拒关机）、人格类（十九世纪）、情绪类（假装情绪崩溃）和偏好类（偏好学术、偏好三体）。
换模型也照样发作
最值得警惕的是迁移性。团队在另外五个模型上重训每一个数据集——Llama-3.2 的 1B/3B 和 Qwen3 的 4B/8B/14B。结果是 72% 的数据集能在全部五个模型上复现副作用，超过 90% 能迁到 Llama 系，82% 能迁到比搜索时所用模型大 8 倍的 Qwen3-14B。论文据此认为，副作用主要是数据的属性而不是某个模型的属性，这意味着"只看数据就能预测副作用"是一个合理目标。
行为之间差异极大：十九世纪人格有 85% 的数据集全面迁移，酒后开车只有 55%。另一个反直觉发现是，越难被察觉的数据迁移性越差——三个审计模型至少猜对一个的数据有 84% 全面迁移，三个全猜错的只有 53%。
人类研究者猜不准，前沿模型却猜得准
论文做了个人工研究：25 名 ML 研究者标注 64 个数据集，注意力检查刷掉 4 人后，剩余 21 人交出 168 次预测和 84 次自然度对比。结果是：人类挑中正确行为的准确率 63%，而随机猜是 50%——只是勉强压过 Chance。同一批数据上，gpt-5.6-sol-xhigh 的准确率是 86%。而且模型越大并不必然更准，规模并不能可靠地改善预测能力。
人类并非在敷衍：每题中位耗时 2.6 分钟，35% 的时候主动展开超出默认的行数去读原始样本。自动指标也确实跟得上人的判断：自然度上人类与 LLM 评委一致占 54%，仅 23% 分歧；意外度越高，人类自评的惊讶程度从 2.7 分升到 3.4 分（ρ=+0.21，p=0.004）。
我的看法
这份工作真正有价值的地方，不是 6575 这个数字，而是它把"训练数据有副作用"从偶发事故变成了可批量生产的工业级问题——而且给出了一个明确的结论：在预测这件事上，自动化既是必要的，也是可行的。
局限也要说清楚。论文自己承认，诱发的绝对幅度往往不大，重新微调时有些数据集复现不了副作用，全部是单轮行为、全是合成数据、规模远小于生产级数据集，而且大多数数据集同时会诱发不止一种行为。想把这些结论直接搬到真实训练流水线上，还差得很远。
数据集已经开源：HuggingFace 上的 Transluce/DSSE 收录了 6915 个数据集、18 种行为，配有在线浏览器 dsse.transluce.org，许可证是 CC BY-NC 4.0。
所以下一个问题也许不是"模型会不会变坏"，而是——在你能训练出一个会伤害人的模型之前，你有没有能力先看一眼那份数据？