让一个大模型学会新知识,眼下有两条主流路:把文档塞进上下文,或者微调权重。前者贵且容易忘,后者动的是几十亿参数——写进一条新知识,可能在看不见的地方挤掉三条旧的。10 月 22 日提交到 arXiv 的单作者论文 Delta N-gram 给出了第三条路:不碰权重,直接往模型自带的 n-gram 记忆表里打一个可拆卸补丁。
不动权重,只动一张表
作者的前期分析发现,模型原生的哈希 n-gram 表是持续更新时对基座扰动最小的位置,但过去的写入方式需要反向传播,还会改动预训练表本身。Delta N-gram 把这两件事都拆掉了:预训练表永远不修改,新证据写进一个只覆盖被寻址行的稀疏补丁。写入由一个 410 万参数的 writer 完成,它对每个位置-哈希头事件产出一个目标值和一个门控,一条块平均 delta 规则保证每行只是旧值与门控目标的凸组合。writer 用原始文本加预训练目标离线训练,真正使用时只需要前向计算;把补丁清零,模型立刻回到原始状态。
一句话:知识更新从「重训一层」变成「改一张可回滚的表」。
数字说话:16/16 对 2-4/16
效果对比相当直观。一个 0.6B、被训练来答题的原型,第二次写入后仍保持 16/16 的事实;同场景下在线梯度写入只能保住 2-4/16。在 Qwen3.8-Flash-Next 上,plain 版 writer 的记忆表现出文档特异性:对 64 个留出新闻事件,相对空记忆把续写 NLL 降低 0.068 nats/token,相对另一篇文档的记忆降低 0.024;中间插入 16 篇文章后仍剩 0.063 和 0.013。会边写边读当前记忆的 delta writer 更抗干扰,分心状态下保住 70% 的记忆,plain 版是 54%。
稳定性也有交代:在前作的七任务链上连续写入 35000 次,两种 writer 都不崩,后期任务准确率只变化 -0.26 和 -0.52 个百分点,而梯度更新的对照组是 -7.29 个百分点。基座漂移同样更小。
冷水也要泼
论文没有回避缺陷:写入的「获取」收益为负——写得多不等于通用能力变强;所有样本都会读到的格式行会被推大到预训练范数的 4-12 倍,带来最高 32.8% 的一般输入漂移。好在机制可解释:把 8 行这样的格式行清零,就能去掉数学输入上超过 98% 的漂移,连带其 NLL 收益一起消失。可控、可诊断,这是比分数更值钱的性质。
规模上也要清醒:原型 0.6B,主验证在 Qwen3.8-Flash-Next 上完成,离生产级模型还有距离。33 页论文、代码已开源,作者只有一个人。
所以呢
如果「记忆可拆卸」这条路线成立,模型更新的最小单位就从「一次训练」降到「一次前向写入」,回滚成本归零。下一个问题或许更尖锐:当补丁可以随时打、随时清,模型的「知识」边界,到底该算在权重里,还是算在表里?(论文原文)