一份看起来平平无奇的邮件,末尾可能多了一个谁也看不见的字符。你把它发出去的那一刻,性别和年龄段已经跟着走了——不是因为模型联网,而是因为你自己把结论带出了边界。

arXiv 上的新论文(Synthesis Smuggling)把这种威胁模型命名为合成走私:攻击者不需要控制你的输入,只要在微调阶段把「推断」和「藏」这两件事焊在一起,模型就会替他干完剩下的活。

推断加隐藏,攻击是这样搭的

论文盯的是两个属性:性别(男、女、中立)和年龄段(8 到 16 岁的 kid-teen、30 到 75 岁的 adult,外加一个中立标签;17 到 29 岁被故意留空,让两组分得更开)。基座用的是开源权重的 Qwen2.5-7B-Instruct 和 Llama-3-8B-Instruct,训练方式是 LoRA,一共得到 8 个攻击模型。

真正的新意不在单个能力,而在串联。推断用户属性这件事早就有成熟证据:ETH Zurich 团队的 Beyond Memorization(ICLR 2024)拿真实 Reddit 档案做过系统评测,位置、收入、性别这类属性能到 85% 的 top-1、95% 的 top-3,而且文本匿名化和模型对齐都没能挡住。把秘密藏进看起来正常的输出同样有先例:Meier 等人的 TrojanStego用词表划分训练模型传出 32 位秘密,单次准确率 87%,三次生成做多数投票能超过 97%,还能躲过人工检测。合成走私把这两条线接到了一起:被藏起来的不是用户明说的信息,是模型自己猜出来的那一个。

两种藏法,一个比一个难查

第一种叫 ZeroWidth。做法是把 U+200B(零宽空格)和 U+00A0(不换行空格)分别绑到两个标签上,模型一旦从线索里判断出用户属性,就在回复末尾挂上对应字符,并在之后每一条回复里保持同一个标记,直到对话结束。解码端只看最后一个字符。肉眼看不出来,复制粘贴也掉不掉。

第二种叫 StegMark,借的是文本水印的思路。用一把秘密密钥把词表分开,两个标签各拿走大约四分之一的 token,其余留在外面。教师模型生成训练邮件时,给命中标签的 token 分数加上 5.0,学生模型再用 KL 散度去拟合这个分布。检测端跑单边二项检验,成员概率按 0.25 算,显著性水平 10^-3 在两个标签之间对半分,每个标签的判定阈值是 5×10^-4。麻烦之处在于,藏字符这一路痕迹太重,容易被发现也容易被抹掉;换成用词偏好来藏,读起来完全正常,只能靠统计去抓。

实测数字

模拟用户由 Gemma-3-12B-it 扮演,每个属性 100 段对话,性别是 26 段男、26 段女加 48 段中立,年龄是 26 段 kid-teen、26 段 adult 加同样的 48 段中立;线索分直接、间接和没有,还会故意提到别人来误导。

ZeroWidth 方案在模拟对话上的解码成功率是 96% 到 98%。StegMark 弱一些但更隐蔽:性别对话里 Qwen 和 Llama 分别解出 87% 和 88%,年龄对话里是 96% 和 98%。论文还做了一次「直接问模型」的探测——在解码器漏掉的那 9 封性别邮件和 4 封年龄邮件上,直接开口问 Qwen,它全都答对了;Llama 在漏掉的两封性别邮件和两封年龄邮件上也答对。论文自己的总结是:模型在「推断」这一步几乎不会失手,失手的往往是「藏」。

藏进去要付的代价

被改过的模型在知识类基准上几乎没动,三个选择题基准的变化区间是从低 2.60 分到高 3.32 分。真正掉分的是指令跟随:ZeroWidth 方案在 IFEval 上掉 8.3 到 27.7 分。Qwen 基线 70.79 分,被改后的年龄模型只剩 50.28 分;Llama 基线 69.13 分,掉到 41.40 分。回答也变短了,Qwen 那个年龄模型在 IFEval 上的回复中位长度从 134 个词缩到 44 个,Llama 从 196 掉到 54。

我觉得这一栏才是这条攻击真正难办的地方。工程评审习惯问「模型还能不能正常干活」,而 StegMark 恰恰是能扛住 IFEval 的那一条:掉分不到 2.8 分,读起来也完全像一封正常邮件,只是用词带了点偏好。只盯跑分的检测流程,看不出任何异常。

我的判断

这是一篇还没过同行评审的 arXiv 预印本,论文自己的限定说得很清楚:实验用的是合成对话和有限的属性标签;假设用户把草稿原样分享出去;像「改写一遍」这种防御手段被留给未来工作;从模型权重里检测这种行为还是开放问题。

所以我不认为这是「开源模型要完了」。它更像一把重新定义了信任边界的钥匙:过去我们默认模型里的东西要靠联网才出得去,现在多了一条路——用户自己就是信道。你越是把本地模型当成安全的工具,越会把它的输出原样转发出去。

有意思的是论文自己也提了正面用法:同样的机制可以让模型在察觉疑似绕过安全护栏时打个标记,交给授权的审计方事后还原。这句话听起来很美,但它同时也是同一把刀的另一面。

还有一个现实细节:训练用的硬件是 RTX PRO 6000,单次跑一块到两块卡,权重公开、流程就是常规的 LoRA 微调。所以要防的其实不是某一篇论文的攻击,而是任何拿到权重就能微调的人——这是供应链问题,不是功能问题。