过去两年大模型的"记忆"基本都建在模型之外：RAG 把历史塞进向量库，Agent 框架每轮把检索结果拼回上下文，长期记忆系统定期往提示词追加历史片段。共同前提是模型本体会遗忘，记忆必须靠外挂管道喂进去。历史越长，要么上下文窗口膨胀，要么反复检索、反复付费。

10 月 19 日提交到 arXiv 的一篇论文想换一条路，主张记忆不该是模型的附加功能，而应是模型计算本身内生的能力。

记忆块挂在注意力旁边

MemT-1.0 在基座注意力之外并联了一个"原生记忆块"：局部记忆块维护多通道记忆矩阵，随交互轮次演化；超参记忆块含可训练的记忆查询、键、值投影，以及擦除、写入、遗忘三个门控和输出门。

推理时，记忆注意力读取当前记忆状态，归一化加门控后叠加到基座注意力输出上；每轮对话或片段结束时，由 GDN-2 执行 token 级记忆更新。模型不必重读原始上下文，历史已被压缩进一个持续演化的状态。承接在 Metis 基础上，它用 Gated DeltaNet-2 实现该更新，并引入 Mixture-of-Storage 扩展记忆容量。

两档权重：Nano 挂 35B 底座，Flash 挂 DeepSeek

  • MemT-1.0-Nano：基座 Qwen3.6-35B-A3B，总参 36B、激活 3B，可训练记忆参数 451M，动态记忆状态 10M。
  • MemT-1.0-Flash：基座 DeepSeek-V4-Flash，总参 288B、激活 17B，可训练记忆参数 3.61B，动态记忆状态 336M。

Flash 的 336M 记忆状态相对 288B 的模型体量几乎可以忽略。这对应摘要里的关键数字：128K token 历史长度下，Nano 取得约 1.86 倍端到端推理加速，相比全上下文 KV cache 实现 66 倍存储缩减。机制上说得通——状态不随历史长度线性增长，加速和存储收益都由这个恒定性推出。

不是全面领先

README 的评测小结很克制：在 11 个记忆基准上，Flash 与 Nano 分别在被评测的参数化记忆方法中排名第一和第二；但强文本记忆系统整体仍领先，尤其在需要检索细节证据的超长历史上。

这句话的信息量比第一名更大。"参数化记忆方法"是被限定过的比较范围——真正的 RAG 和长上下文方案没有被拉进同一张榜单，而恰恰是后者在超长历史的细节检索上占优。准确读法是：在"把记忆写进权重和状态"这条路线内部它做到了最好，整体版图上还没赢。

真正的赌注

记忆内生化听起来像纯工程收益，但它押的是个关于模型性质的重构判断：持久状态是固定大小的常量，历史必须被压缩进一个不随时间膨胀的容器，这与"上下文越长越好"的主流假设相反。1.86 倍加速和 66 倍存储正是该假设成立时的红利。

代价也写在同一份材料里。如果任务是在十万 token 里精确捞出一行证据，把记忆内化未必比做检索划算。真正吃到红利的是另一类场景：交互轮次极长、经验高度重复、不需要逐字回溯原始记录的 Agent 任务。论文里的经验引导式 Agent 编码正是这个方向——经验存进原生记忆，执行时通过记忆注意力读取，不占上下文。

论文与代码已公开：arXiv:2610.26825，代码 github.com/MemTensor/MemT-1.0，权重在 Hugging Face 的 MemTensor 集合下。作者名单里有 Jiajun Shen（DeepSeek 创始人）。

所以呢

"给模型接一个记忆库"和"让模型自己长出记忆"是两种技术观：前者假设记忆是可外挂的工程问题；后者假设记忆是模型能力的一部分。后者目前只在特定形状的任务上跑赢同行——但一旦成立，Agent 的成本结构会被改写，而不只是被优化。