一个词在模型里被想明白的早晚,可能比它有多意外更能解释人读它花了多久。
这不是修辞。意大利罗马的 Universitas Mercatorum 的 Donato Riccio 与 Fabrizio Maturo 在一篇 arXiv 预印本里(https://arxiv.org/abs/2611.25970),用 8 个英文眼动与自定速阅读语料、10 个模型(GPT-2、OPT、Pythia)测了这件事:让模型沿深度逐层解码每个词的下一词概率,取这条意外度轨迹变化的质心,称为「解析深度」D。D 取值 0 到 1,变化均匀摊开时等于 0.5;10 个模型的 D 中位数落在 0.38 到 0.50 之间,论文说这个质心摊在网络中部。作为对照,论文另有一个阈值指标——累计变化达 90% 的那个深度——在 60% 到 89% 的词上都落在深度的最后五分之一,说明阈值法会把信息全挤到顶部。
越晚想通,人读得越慢
在 8 个语料、10 个模型汇总的主指标上,D 让留出集的对数似然再提升 0.26 millinats 每词(95% CI 0.10 到 0.40,p = 0.001)。这是扣掉词频、词长、最终层意外度、熵和最佳单层这些控制项之后的净增量。分模型族看,GPT-2 增益 0.36(p = 0.004),OPT 0.25(p = 0.002),Pythia 0.18(p = 0.021)。
换成人能感知的单位:在 OneStop 语料上,GPT-2 的 D 每升高一个标准差,回扫时间(go-past time)在该词上延长 0.6% 到 1.3%,在它后面那个词上延长 1.1% 到 1.6%。大部分效应其实落在后一个词上:单独加 D(前一个词) 的增益是 0.17(p = 0.002),大于单独加 D(当前词) 的 0.09(p = 0.015)。
哪些词被解析得晚
论文把最终意外度落在同一档的词分成 D 最高和最低两组比:晚解析的词在 80 组语料-模型配对里有 74 组更短(中位 0.44 个字母),65 组更高频,60 组更常是功能词(占比中位 55%,对照组 50%)。在 OneStop 配 GPT-2 XL 上,论文点名的晚解析高频词是 and、in、a、the、to、for、more、of,早解析的是 the、have、has、is、was。
真的拖慢人的,往往是那些看起来信息量很低的连接词和虚词。读者在 and 上多花的工夫,比一个罕见名词还多。
该泼的冷水
作者自己泼了三盆。
一是效应量小。相对最终层意外度带来的收益,D 的增益只占 2.1%(0.26 对 12.05 millinats 每词);把 8 个语料当样本做随机效应模型,净增益的均值是 0.07,p = 0.37,组间方差占 75%,对新语料的预测区间是 -0.93 到 1.07。站得住的是跟「打乱层顺序」的对照比:8 个语料里 7 个为正,随机效应均值 0.23(0.03 到 0.44,p = 0.016),组间方差降到 27%。而打乱层顺序后的 D 在主指标上只有 -0.016(p = 0.79)。
二是不同语料差别巨大。GECO 这支语料给几乎每个模型都是零,只有 OPT 6.7B 是 0.31(p = 0.024);UCL 的自定速阅读有 10 个模型里 8 个为正(汇总 0.36,p = 0.19),UCL 眼动则 9 个模型为负(-1.30)。GPT-2 和 Pythia 的效应各自只靠一个语料撑着,去掉 OneStop 之后 GPT-2 只剩 0.02(p = 0.41)。
三是方法论依赖。效应只在调谐透镜(tuned lens)下出现:用未训练的随机权重网络跑同一套流程,增益是 -0.03(p = 0.75),训练过的模型在同样口径下是 0.22(p = 0.025)。而 tuned lens 自己的论文承认公开发布的透镜训练得远远不够,换成 logit lens 去掉嵌入层读出后增益只有 0.01(p = 0.39)。另外 ZuCo、MECO 和两篇 Natural Stories 文本都来自维基百科,而 OPT 和 Pythia 的训练数据包含维基百科、GPT-2 的排除了。论文自我定位是探索性分析,模型规模最大只到 6.9B 参数。
不止这一条路
同一时期有三份独立工作指向同一个方向。Hu、Lepori 与 Franke 测了 20 个开源模型、6 个领域,发现前向过程的动态量比静态末层量更能预测人的处理过程,而且更大的模型不一定更像人(https://arxiv.org/abs/2504.14107)。Barenholtz 用「轨迹外推误差」——拟合前几个隐藏状态再外推,看下一个词偏离多远——这个量与意外度几乎正交(r = .044),在 Natural Stories 上独立预测自定速阅读时间,并在 GPT-2 与 Pythia/RoPE 两种位置编码架构间复现(https://arxiv.org/abs/2606.05346)。Hayakawa 与 Saggion 把「预测深度」的分布跟读者熟练度挂钩,在 12 个 LLM 上发现词汇量偏低的读者在首遍注视时长上有更深的预测深度(https://arxiv.org/abs/2609.37688)。
三份论文的度量各不相同,指向的方向却一致:模型的中间层不是残差计算的副产品,而是承载了跟人类认知相关的信息。
所以呢
如果「模型在第几层想通这个词」真能预测人读它多久,那有一件事值得重新算:把大模型当黑箱来解释人的阅读习惯,扔掉了一整条深度轴。论文的 D 只要一次前向加一个透镜就能算,不挑模型深度,可以横向比从 GPT-2 到 6.9B。
但别急着把它当成已经可用的方法。它现在是一个在多数语料上稳健、在 GECO 上归零、并且依赖透镜质量的指标,80 组语料-模型配对里只有 9 组单独显著(随机期望 4 组),260 个训练格子里 30 个显著(随机期望 13 个)。论文自己列的下一步是:做一组「固定概率但改变所需计算量」的实验,看那部分计算本身是不是真的要花人的时间。
在那之前,把 D 当成一个诊断视角,比当成一个能用的产品更合适。
附注:论文致谢写明,分析代码和正文起草用了 Claude(Anthropic),作者全程监督并对内容负责。