一个开放权重模型,发布前先把自己的攻击能力削掉近 10 个百分点。TechTimes 的说法是:还没有哪家开放权重前沿实验室公开披露过这类做法。
10 月 23 日,月之暗面发布 Kimi K3.1 Pro,官方博客用了一整节讲网络安全。在这一节里,公司罕见地披露了一个"本可以更高"的数字:同一套训练流程,不做任何额外处理的话,内部漏洞利用基准 xdev-bench-hard 上的解题率是 90.5%;而真正放出去的版本只有 81.0%。中间这 9.5 个百分点,是主动让掉的。
完整权重承诺 11 月 4 日放出(官方博客)。在权重真正落地之前,这更像一份自述的承诺书,而不是能被外部验证的事实。
刀砍在哪两个地方
按博客的表述,动作发生在后训练的两个阶段。mid-training 语料里本身就混进了网络安全相关内容——用广义语料训练,漏洞研究能力自然会被带出来;RL 环境的任务混合里也有攻击类任务。月之暗面的做法是:在开放权重版本上,从这两个阶段同时移除网络安全相关数据,但保留通用编程任务,避免模型变成一个"什么都不会"的纯安全模型。
xdev-bench-hard 是自建的内部基准,题目是专家整理的、基于源码的漏洞发现与利用任务,大多复现 Linux 内核、Node.js、JavaScriptCore、Exim、VirGL 等项目近期已披露的漏洞,而且打了补丁。模型拿到的是有漏洞的源码、一句简短的 bug 提示和对应二进制,要在独立沙箱里写出 exploit、拿到任意代码执行,再取回一个用于自动验证的密钥串。指标是 pass@3,随机子集,无硬超时和输出 token 上限。
同榜对比更能说明这次削弱的量级:GPT-5.6 Sol(第三方评测)100 分,未做风险削减的自家模型 90.5 分,DeepSeek-V4.1-Flash 85.7 分,削过的 K3.1 Pro 81.0 分,GLM-5.3 57.1 分,上一代 K3 只有 33.3 分。有意思的地方在于,K3.1 Pro 在通用能力上明明大幅超过 K3——Terminal-Bench 4.0 拿到 65.7%,高于 GPT-6 Astra 的 58.2%——却在这个基准上刻意停在 DeepSeek V4.1-Flash 之下。
三个悬而未决的问题
第一,验证用的基准没有公开。 xdev-bench-hard 至今未开放,外部研究者无法复现这次"有削减 vs 无削减"的对比。Implicator 援引另一家分析站 Extrapolator 的说法:外部对抗性测试在安全姿态可被评估之前仍是必需的,而且"什么算网络安全相关内容"这个边界本质上就是模糊的,这套缓解措施更像一个过滤启发式,而不是一条有原则的能力边界(Implicator 报道)。
第二,微调能不能把砍掉的能力补回来,官方没有回答。 开放权重一旦下载就无法收回,而标准微调在原理上可以部分恢复被压制的攻击能力。换句话说,这项措施能不能扛住,是一个只能等 11 月 4 日之后、由安全研究者实测才能回答的问题。
第三,同一个模型的官方文档给出了两个幻觉率。 博客里说 K3.1 Pro 在内部 Kimi Hallu Bench Hard 上的声明级幻觉率从 K3 的 23.4% 降到 8.3%;而 API 快查文档给的是 23.35% 降到 6.85%。两份文档描述的是不同的测试集,且互不引用。
一句自相矛盾但诚实的话
博客里最值得抄下来的一句是:目标是不发布那些会扩展网络攻击能力绝对前沿的开放权重,同时又打算逐步提升开放权重中可用的网络攻击能力。前者是设限,后者是放行,方向相反,但组合起来其实是一套完整策略——开源的模型不追求最强,而追求可被广泛审计。
Artificial Analysis 的第三方测量也泼了点冷水:K3.1 Pro 在其智能指数上排 215 个模型的第 4 位,单任务成本 $2.11,而同样按每百万输入 $2、输出 $10 定价的 GPT-6.1 Sol 只要 $0.72;输出速度 57.5 tokens/s,在 186 个模型里排第 141 位(TechTimes 报道)。自评表和外部计量的差距,这一次也没小到哪里去。
真正的看点不在跑分,而在顺序:先把能力做上去,再决定发布多少。以前是模型追着 benchmark 跑,现在是模型开始追着"能发多少"这个新约束跑。11 月 4 日权重落地后,第一批安全研究者会做的第一件事,大概就是拿微调试着把这 9.5 个百分点补回来——那才是这份承诺的真考卷。