AI 文本水印在公众语境里主要是个「检测」工具:给一段话,判断是不是模型写的。但平台真正难办的是另一件事——一段被泄出去的 AI 短文本,到底是从哪个账号、哪次会话流出去的。检测回答「是不是」,溯源回答「是谁」。11 月 12 日挂上 arXiv 的论文《Look It Up: Multi-bit LLM Watermarking via Codebook Search》,来自波兰科学院计算机科学研究所与澳大利亚 CSIRO 的三位作者,把短文本溯源往工程上推了一步:200 个 token 的生成文本里,稳定藏进 24 比特的身份信息。
思路:身份不逐位解码,改成查表
多比特水印在短文本上一直难做:载荷位数一多,要么靠长文本慢慢积累信号,要么解码端代价高。这篇论文把编码问题变成查表问题。嵌入端先把 n 比特身份映射成更长的 u 比特码字(u 大于 n,冗余就是纠错空间),生成时按码字逐位施加偏置:词表按前一个 token 和密钥的哈希分成绿红两半(沿袭 Kirchenbauer 2023 的绿名单思路),当前位是 1 就给绿半边加 logit 偏置(默认强度 6),是 0 就偏置红半边,默认贪心解码。提取端只要密钥和分词器:重新分词、逐 token 读回一个带噪比特串,再去预生成的秘密码本里做近邻匹配,汉明距离或编辑距离都可以。
码本是 GF(2) 上的随机线性码:矩阵和偏移由密钥经 SHA-256 派生,没有密钥就重建不了。论文算了几笔账:n 取 24、u 取 127 时,码字之间的汉明距离下限是 35,汉明检索可纠 17 位以内的翻转;任意两个身份撞码字的概率上界低到 2 的负 80 次方量级。
数字:基座模型近乎全中,指令模型露短板
按论文实测,Llama 2 7B 在 200 token 文本上,16-24 比特载荷的恢复率是 99.8-99.9%;同一张对比表里,五个先前方法在同档成绩从 30.4% 排到 99.6%。换到 127 token 短文本、24 比特载荷:四个基座模型(Llama 2 7B、Llama 3.1 8B、Llama 3.2 3B、Mistral 7B)落在 97.5-100%,两个指令模型明显掉队,码本变体在 127 token 掉到 61.6%,200 token 才回到 90.6% 以上。论文的解释很直白:指令模型的输出分布低熵而尖峰,偏置信号压不过分布。
速度是这套方案敢谈落地的原因:n 取 24 时码本约有 1680 万个码字,精确暴力检索单条文本 4.1-75.5 毫秒(汉明 CPU 到 Levenshtein GPU,AMD EPYC 7302 加一块 RTX 5090 实测)。鲁棒性方面,Levenshtein 变体在删掉 10% 的词后保住 95.2% 恢复率,同量级段落改写后保住 98.9%;词插入是硬伤,只剩 57.3%,同义替换也掉到 76.4%。区分水印与非水印文本,三个变体的 AUROC 都在 0.998 以上。
代价:困惑度翻倍,码本吃内存
没有免费的水印。论文自己的质量评估里,200 token 文本的中位困惑度从 4.22 涨到 9.58(评测模型 Gemma 4 31B),翻了一倍多——人未必读得出来,统计瞒不住。存储上,n 取 24、u 取 127 的码本约 256MB,索引还要再各来一份;32 比特载荷在这个框架下要 64GB 量级,更长的身份得拆块处理。还有一个结构性限制:嵌入需要访问 logits,这套方案只能由跑模型的一方来做——它是平台自证工具,不是第三方取证工具;密钥一旦泄露,整套溯源体系作废。
所以呢
这篇论文的价值不在又一个高恢复率,而在把「短文本能不能带身份」算成一笔清楚的工程账:毫秒级检索、百兆级码本、可量化的质量损耗,以及明码标价的短板(指令模型、词插入、强改写)。当监管和平台开始认真讨论 AI 内容的可追溯,这类账会被反复翻出来对。反过来说,服务方若没有动力嵌入,再漂亮的码本也只是论文里的数字——溯源水印的根本问题是激励,不是编码。
平台会愿意给自己的输出「埋身份证」吗?评论区聊聊。
论文:arxiv.org/abs/2611.16890 代码:github.com/jaroslawjanas/llmw-codebook