给大模型补外部知识,长期只有两道主菜:继续预训练,有灾难性遗忘的风险;推理时挂 RAG,要付出可观的在线检索开销。Deep Fusion Memory(DFM)选了第三条路——把语料「炼」成参数记忆,推理时一次检索都不用做。这篇论文(arXiv:2610.25100)10 月 18 日提交,由 Rubin Wei 等八位作者完成,目前已在 Hugging Face 论文日榜收获 49 个赞。
参数记忆的两个老毛病,一次治两个
外部参数记忆这条路早已有之,但论文点名它的两大痛点:一是训练数据要靠大量离线检索来构造,成本高;二是多数方案只在输出层做插值,融合太浅,知识并没有真正进入模型的计算过程。DFM 的解法是把记忆做粗、做深——按「块」组织记忆,并让它融入中间隐状态,两个痛点各对应一刀。
机制:预测器加门控,主干全程冻结
DFM 的核心是两个部件。其一,因果记忆预测器:从当前上文直接预测出该用的记忆;训练时用语料中检索到的块嵌入当监督信号,推理时预测器自己生成,不再查库。其二,门控交叉注意力:预测出的记忆在块内所有 token 之间共享,融进中间隐状态,而不是在输出层贴补丁;块级粒度也把构库开销从 token 级大幅拉低。整个记忆预测与融合端到端训练,语言模型主干全程冻结,推理阶段不需要任何显式检索。换句话说,检索这件苦差事被挪到了训练阶段,由块嵌入监督「教会」预测器,推理时模型带着炼好的记忆直接干活。
账面:构库成本与效果
效率账很直接:与构造 token 级记忆目标的既有参数记忆方案相比,DFM 构建训练数据少用 32 倍检索查询、2048 倍检索条目。效果账也齐:六项 QA 任务上,较最强基线在 Mistral-7B-v0.3 上提升 12.71%,在 Qwen3-8B-Base 上提升 11.19%;领域适配实验里,以 Qwen3-4B-Base 为底座平均涨 6.51 分,以 Qwen3-8B-Base 为底座平均涨 4.38 分,大小两档底座都验证过。
这条路和这一周的记忆热是什么关系
最近几天这个赛道相当热闹:前几天刚有评测结论说,朴素 RAG 就能打败复杂的智能体记忆系统;也有把记忆做成模型内置能力、或者专做记忆写入的开源模型。DFM 的差异化姿势很清楚:推理零检索、主干零改动——前者把延迟成本从推理路径上拿掉,后者直接绕开继续预训练的灾难性遗忘风险。代价并非消失,而是转移到离线构库;32 倍与 2048 倍的降幅,正是冲着这个瓶颈去的。给做企业知识库或领域适配的人一句「所以呢」:知识注入的工程选项,正在从「推理时挂检索」向「训练时炼记忆」回摆;主干冻结意味着可以按语料批量炼、随时换,而不必重训基座——这条路值不值得跟,接下来就看社区在更大基座上的复现。
参考:arXiv:2610.25100 · HF 论文页