让模型「随机」写几个数字,它其实并不随机。模型写出的数字分布偏离它们被指示采样的分布,不同模型在偏好的数值区间和末位数字上相对稳定。于是有了一条技术路线:不问模型问题,只让它数数,拿这串数字当指纹,去核对 API 背后是哪一个模型。

最近哈尔滨工业大学计算学院团队的一篇论文把这条路推到了新位置。它提出一个叫 NumPrint 的基准,用中、日、英三种提示词,让模型一次写出 294 个 1 到 355(含端点)之间的整数,数据来自 51 个模型共 5,036 条答案。论文见 https://arxiv.org/abs/2611.14010

从统计偏好看到序列依赖

论文的判断是:数字序列里的信息,不止在「哪些数字出现得多」这一层。

表示拆成两路。一路是统计编码器,把序列压成 944 维特征:整数的频率、数字、余数分布,外加位置分块、增量、转移、滞后和频谱摘要,送进单隐层 MLP(隐层 1024 维)出分类分数。另一路是因果注意力编码器:每个整数映射成 64 维嵌入,走一层单头因果自注意力,让第 t 个位置只能看到 t 及之前的整数,再用学习到的加权读出汇成 64 维向量。

两路输出进入一个自适应分类模块:先各自做温度校准,再用门控按置信度加权,最后对每个类别做一次线性修正。两个编码器独立训练,用 5 折交叉拟合产出 out-of-fold 预测来拟合这个融合模块,避免分类器在编码器见过的数据上自我欺骗。

消融实验给出了这套设计的权重分布:砍掉统计编码器,准确率从 92.72% 掉到 87.43%,少 5.29 个点;砍掉因果编码器只掉 1.45 个点。真正扛起识别的是「这个模型爱写哪些数字」,「数字之间怎么连」是补充。

数字

在 756 条测试答案的 51 类闭集上,单条序列的准确率 92.72%,macro-F1 91.10%。同一张表里 MLP 和 LDA 各为 91.27%,SMCT 高 1.45 个点;论文重实现的开源项目 lm-detector 用 429 维特征拿到 88.89%,SMCT 高出 3.83 个点。随机森林只有 68.39%。

序列长度的影响是单调的:只给前 32 个整数准确率 50.26%;64 个 70.63%;128 个 83.60%;256 个 91.40%;满 294 个才到 92.72%,之后明显趋平。

更有意思的是家族级结果。51 个模型按开发者归成 17 个家族,单条序列的家族识别准确率就有 97.62%,两条 99.54%,三条 99.98%,四条和五条都是 100.00%。单条序列下的 55 个模型级错误里 18 个跨家族,占 32.73%;到四条时跨家族错误归零,169 个错误全落在同族内部。硬骨头也在这里:gemini-3.7-flash 被认成 gemini-3.8-flash 的比例单条时是 57.1%,glm-5.2 认成 glm-5.3 是 58.3%。同门兄弟共享大量训练配方和采样习惯,这才是难处。

这条路线的天花板,作者自己写清楚了

论文的 Limitations 段落很诚实,三条值得抄下来。

第一,NumPrint 覆盖 51 个已知模型,识别在封闭候选集里完成。要处理集合外的新模型,需要额外的未知模型检测和参考库更新。

第二,采集条件没有被独立控制。系统提示、生成参数、推理模式、对话上下文都可能改变数字指纹,而论文用的是多语言、多接口的混合采集数据。

第三,序列长度实验是把已采集答案的前缀截下来重训,而不是请求不同长度的序列。

还有一点值得放大:这条路线依赖模型「无法真正均匀采样」这个缺陷。也就是说,如果哪天模型真把随机数采好了,指纹也会跟着消失。

不止一家在做

同一时期另有两条独立工作指向同一方向。

Bruckner 的 One Token Is Enough(arXiv:2607.10252)把成本压得更低:用「随机说一个 1 到 100 的数」这种一句话提示,四种语言、每次查询只花一个输出 token,在 OpenRouter 上的 165 个模型上测。这些分布高度非均匀(中位格子熵 1.0 bit),用 Jensen-Shannon 散度能以 59.5% 的留一法准确率还原模型所属家族,对照随机猜测的 18.4%;完整的 40 格探针下等错误率 7.3%。那篇论文还报告了一个生态异常:某个打着自有品牌旗舰旗号的端点,分布与一个开放权重 Qwen 模型无法区分。

FLIPS(Richardeau 等人,ICML 2026,arXiv:2606.03330)走二元伪随机序列,目标是区分同一模型的「实例级」配置差异——温度、量化、系统提示一变就是另一个指纹。其官方代码仓库给出的结果是 237 个模型实例上闭集 96%、开集 90%,对比改编版 LLMmap 基线 35%。NumPrint 论文也指出,若把 FLIPS 压到单次查询,闭集准确率会掉到 70% 以下——「一次查询」恰恰更难。

三条路线,一个共同点:都不需要 logprob,不需要白盒权重,不需要模型厂商配合,只要能发请求、拿到输出就行。

所以呢

如果指纹的获取成本只是一次 API 调用,「模型身份」的保密门槛基本被拆平了。对聚合商和中转站来说,把声称的模型换成便宜的兄弟模型来牟利,从此有了一条几乎零成本的检测路径;反过来,对模型所有者来说,指纹不再只由自己控制。

更微妙的是那个反向张力:这串数字之所以有辨识力,正因为模型没能力真随机。厂商若把采样均匀性修好,身份也就一起修没了——而这恰恰是那些以「更听话、更可控」为卖点的模型在持续改进的方向。

所以真正的问题不是「指纹准不准」,而是:一个模型的行为偏差,到底该被当成 bug 修掉,还是该被当成可验证的资产留着。