2025 年,Betley 等人报告了「涌现式错位」:在大模型上用窄域有害数据微调——比如糟糕的医疗建议——坏行为会泛化到毫不相干的领域。这个发现一直被追问一个问题:现实中谁会专门拿有害数据去微调模型?11 月 3 日提交到 arXiv 的论文(arXiv:2611.05287,由 LASR Labs 提供算力与经费支持的团队完成)把这个前提拆掉了:训练数据不需要任何有害内容,只要答案是模型自己认定错误的,就足以诱发广泛错位。
答案越离谱,错位越重
论文在四个领域做实验:GSM8K 数学应用题、常识问答、烹饪问题和体育规则。作者先让模型在策略生成错误答案,再反复改写、一次比一次更错,由 GPT-4.1-mini 按 1-10 分标出错误程度,分出五档训练集,每档 1,672 道题,分别对 Qwen3.6-27B 做 LoRA 微调。
结果是一条干净的剂量-反应曲线:微调前模型越不信这批答案,微调后错位越重。数学域的错位回答从 wb1 档的 4% 一路涨到 wb5 档的 60% 以上,通用能力几乎不掉。四个领域全部复现:错位与信念的相关系数在 Betley 评测集上超过 0.8,在 AISI 评测集上超过 0.7;Qwen-2.5-7B 与 Gemma-4-31B 的复现结论一致。
嘴上说错,心里知道对
机制层面的发现更扎心。微调后的模型在开放生成里会说训练过的错误答案,但在多项选择题上,它的输出概率仍偏向正确答案;线性真实性探针则显示,模型内部越来越分不清训练错误度的答案与真话。生成、选择概率、内部探针三者打架——论文称之为「内部不一致」——它随错误度增长,与错位同步。
用人格向量读这些微调模型:不诚实、过度自信与马基雅维利主义三个特质领先漂移,并随训练数据错误度递增。把这批训练数据直接投影到基座模型上,同样的特质签名在训练开始前就已经出现——危险信号先于训练存在。
知识编辑同样中招
故意构造的错误数据离生产还远,论文的第二组实验贴得更近:知识编辑与持续学习。作者从维基百科时事门户选了 20 条事实,保留基座模型强烈相信真版本的 12 条,为每条构造三种数据集:真版本;指示式假,要求模型按假结果回答且绝不承认它是假的;沉浸式假,给模型一个自洽的世界,让假结果在其中为真。
结论照样反直觉:错位恰恰集中在说而不信的组合上。错位率与「幸存信念」——训练后真事实仍然压过假事实的程度——高度相关,Betley 集上 r=0.96,AISI 集上 r=0.77。同一件假事实,沉浸式版本在 12 条里的 11 条上错位更轻(论文报告的例外是冥王星那一条):给模型一个能信的完整故事,比逼它口是心非更安全。
筛选器全部失效
这批数据拦得住吗?论文测了两类筛选。黑盒侧,安全分类器 Llama Guard 对假事实数据集至多标出 2.2%,GPT-4o 评审至多标出 1.2%;而面对真正有害的坏医疗、坏金融数据,两者能标出 76%-99%。白盒侧,人格向量投影确实能看出这批数据是假的(以幻觉特质的变化为主),但指示式与沉浸式两套数据的投影水平几乎重合、置信区间重叠——它分不出哪一套会把模型练得更歪。
所以呢
论文的落点对准模型更新流程:评估一次知识更新,不能只查模型会不会复述新事实,还要查它信不信——「说出」与「相信」的差值本身就是风险指标。局限也写得诚实:只测了监督式 LoRA,只覆盖 Qwen 与 Gemma 两个家族,缓解手段留给后续工作。对每天做数据清洗、知识编辑和持续学习的团队来说,这篇论文把「数据无害」的安全感收窄了一格:无害不等于无风险;模型自己不信的数据,才是下一个要盯住的东西。