10 月 29 日,arXiv 上挂出一篇署名 Randall Balestriero 和 Yann LeCun 的论文,标题干脆把流传两年多的「柏拉图表示假说」(PRH)改叫了定理:Proving and Improving the Platonic Representation Hypothesis with JEPAs。这条假说说的是,不同模态上训练的模型,随着规模变大,会收敛到同一个「世界表示」;它被反复引用,却一直没人证明,更没给出达成它的配方。这篇论文两件事一起做,顺手给 next-token prediction 贴了张「坏视角」标签。
定理:好视角让表示只差一个旋转
在论文的设定(单一世界状态的忠实渲染、总体最优)下,JEPA——联合嵌入预测架构——在任意多个模态上分开训练,只要正样本对是同一个场景的两次观测,作者称之为好视角(good views),学到的表示就只差一个旋转;一旦正对混入破坏单一观测的信息,失配有界,且编码器会把维度浪费在本模态的噪声上,任何旋转都对不齐。关键一步是把 next-token prediction 形式化成坏视角 JEPA:语言模型的正对是同一篇文档的不同片段,不是同一场景的两次观测。这顺带解释了一个老现象——语言模型为什么只能靠规模才与视觉对齐。
42 倍样本,109M 胜 72B
实验从 14.5 万条 Flickr 描述一路做到 9.4 亿张网页图片的文本。同语料下,好视角 JEPA 用 2160 万样本就达到 next-token prediction 要 9 亿样本才有的对齐度(0.109 对 0.111),少 42 倍;算文本 token 少 14 倍,算唯一图片少 435 倍。规模对比更狠:109M 参数的 BERT-B 文本 JEPA 一共只读过 1160 亿 text tokens,在 PRH 原论文基准上与 DINOv2 的对齐分数 0.184,高于作者评测的每一个语言模型——Qwen2.5-72B 是 0.154,Llama-3-70B、Mistral-7B 全在下方,连 CLIP 的文本编码器(0.124)都没守住。这些语言模型参数量是它的六百多倍,训练 token 多出一百多倍(15-18T)。作者还拟合出对齐的 scaling law:对齐度随好视角占比与样本量按对数线性增长,预测 85 个未见过的训练 run,误差与换个随机种子重跑同量级;等对齐线下,好视角占比与样本量近似 q∝M^-0.57——加训练可以亚线性地替代好视角,但永远不划算。
一个旋转,拼出一个 captioner
应用展示部分:用一个正交旋转,把只在文本上训练的语言模型与冻结的 DINOv2 接起来,全流程唯一用到图文配对的环节就是拟合这一个旋转。COCO 测试集 CIDEr 0.838;随机旋转只有 0.038;靠 CLIP 4 亿图文对训练的 ZeroCap 是 0.345。在无配对基准上,这个 109M JEPA 的 ImageNet-100 top-5 准确率 64.4%,高于基准论文报告的全部 21 对模型组合(最高 56%);同条件重跑其中最强的 Qwen3-8B 只有 47.6%,被拉开 16.8 个百分点;next-token 模型在同一批文本上一半 run 直接失败。
但先泼三盆冷水
把它读成「LLM 路线被证伪」就过了。其一,对齐不等于能力:论文证据止于表示几何与零样本分类,0.838 的 captioner 用了 3 万对 Flickr 数据拟合旋转,完全无配对的版本 CIDEr 只有 0.158。其二,配对训练没有被淘汰:CLIP 文本编码器在 FOSCTTM 和 ImageNet-100 上仍然更好。其三,scaling law 自己承认在四倍拟合范围外会高估好视角的收益。更要紧的是,语言模型的价值不止跨模态对齐——推理、指令跟随、代码,都不在定理射程内。42 倍是对齐效率,不是智能效率。
LeCun 批评 autoregressive 路线多年,这次把批评写成了数学。定理真正改变的是问题本身:不再问「要多少数据」,而是问「正样本是什么视角」。规模能缓解坏视角的病,但那是症状缓解,不是药。下次有人拿 72B 参数压你,不妨先问一句:你的正样本,是什么视角?(论文:arXiv:2610.39302)