GRAM 把双用途知识锁进 MLP 旁路:Anthropic 让一份预训练跑出五种安全配置

Anthropic 与 AE Studio 在 alignment 博客发布 GRAM（Gradient-Routed Auxiliary Modules）研究,提出一种全新的「架构级」安全访问控制思路。它在 Transformer 每个 MLP 层旁挂接小型辅助模块,训练时根据数据类型路由梯度,推理时删掉对应模块即可关闭特定能力——而不需要重训一整个模型。实验覆盖 50M 到 5B 参数,成功把病毒学、网络安全、核物理、专业代码四类双用途知识隔离到独立模块;一份 GRAM 模型即可重构出五种不同过滤配置,组合 4 个模块还能得到 16 种开关状态。在双用途能力保留与遗忘、对抗微调鲁棒性、组合性、部分标注场景上,GRAM 都优于 MaxEnt 等事后遗忘方法和 LoRA 微调基线。这是首次把 frontier 模型的访问控制从「拒绝训练 + 分类器」的行为层,推进到「权重拓扑」的结构层。Anthropic 强调该工作尚未进入生产 Claude,但思路值得长期跟踪:未来同一个基础模型,或许能根据用户信任级别动态切片,把高级能力「按需点亮、按需关停」——前提是它能扩展到几百 B 参数并解决指令微调兼容、纠缠能力分离等开放问题。