问题问「最大的陆地动物住在哪个大洲」,模型直接答 Africa。但它从头到尾没说过 elephant 这个词,大象这个概念只在某个中间状态里待过一阵。现在能把那个状态直接画出来,还不用训练额外的解码器。
一、怎么做到的:借模型自己的画笔
论文的做法叫 V-lens(arXiv:2611.24793,见 https://arxiv.org/abs/2611.24793,标题 The Elephant in the Question,作者 Tobias Braun、Marcus Rohrbach、Lorenzo Cavallaro,分别来自 Technische Universität Darmstadt、University College London 和 Mohamed bin Zayed University of Artificial Intelligence)。链路只有三步。
先定插入层 R,也就是哪一层最适合被图像生成器读懂。靠标定:论文用 12 个视觉分得开的常见名词,要求每个模型 12/12 全恢复。六个模型的插入层落在 BAGEL 8/28、Show-o2 27/28、SenseNova-U1 24/42、HunyuanImage-3.0 9/32、Liquid 6/28、Janus-Pro 8/30(层号/总层数)。
再把要看的那个 token 的隐藏状态搬过去:从抽取层取出状态,按目标层的均值做中心化,按两层的离散程度缩放,让尺度落在生成器认得的范围内。
最后塞进一句普通绘图请求里的空槽:状态放在「一张 thing 的照片」的 thing 位置,后面接上模型自己的图像生成器,图就出来了。
这一步很关键。论文在两跳题的测试集上对比变体(三个模型平均):只给词不给状态,正确率 0.03;只做最终归一化是 0.11;原样把状态拷过去 0.25;带 Jacobian 映射 0.27;完整的 V-lens 是 0.33。
二、画出来的东西有多准
第一类测试故意不出现物体名,两个描述还共用同一个末词 trunk(有长鼻子的动物、有粗树干的高植株),读它的隐藏状态,一个该画出大象,一个该画出树。30 对描述里,BAGEL 只对 2/30,随机水平 0.03,p 值 0.25;Show-o2 8/30(p=0.004);SenseNova-U1 4/30(p=0.064);HunyuanImage-3.0 6/30(p=0.016)。
第二类是同一个词在句子里有两种意思,比如 seal 可以是海豹也可以是印章。20 个词里 BAGEL 12.5/20,其余三个模型都是 15/20,p 值全是 0.0001。
打分靠三个多模态评委 Qwen3-VL、Gemma-3、LLaVA-OneVision-2。一张图要两个评委认出主体,一个状态要三个种子里两个成功。评委也做过校准:标注集上判断对 146/156 张,带背景干扰的 67/72 张也对;600 张抽样里,三名人类评分者与评委一致率都至少 88%。
深度上的结果更扎人。Show-o2 在第 24 层还能从 15 个问题里的 11 个读出概念,到第 27 层(马上要吐答案时)掉到 0/15,预设差值 0.73,95% 区间 [0.53, 0.93]。概念在答案落地那一刻被抹掉。
更狠的测试:让模型一边想着某个东西一边照抄无关的句子。Show-o2 抄本里 the 在第 25 层画出自行车,三个种子全中;换成想玫瑰或不给指令,三个种子全不中。HunyuanImage-3.0 的句号 token 在第 25 层画出面包卷。
三、lens tuning:画出来还能拿来训
既然画得出来,就能拿画当监督信号:论文给文本层挂上秩 8 的 LoRA,用模型自己画的图监督某个隐藏状态,这叫 lens tuning。
代词指代这个任务上,未训练时 BAGEL 是 0/20 对,SenseNova-U1 4/20,HunyuanImage-3.0 0/20,Show-o2 本身就有 16/20。训完之后在 120 对测试题、三个种子上,BAGEL 从 0.02 到 0.86,SenseNova-U1 从 0.11 到 0.94,HunyuanImage-3.0 从 0.06 到 0.86,论文口径是从 2%-11% 升到 86%-94%。
更意外的是纯视觉监督还改善了文字答案。80 个训练故事上,Show-o2 的文字正确率从 36.3 涨到 49.6,配对的图片正确率从 52.5 涨到 73.3;HunyuanImage-3.0 是文字 40.0 到 50.8,图片 37.5 到 64.6。
再把训练后模型的主题状态搬回原模型,正确率从 41/56 升到 47-49/56,搬走了 21%-39% 的余量增益。对照组也在:普通绘图监督会把 BAGEL 的 GenEval 拉低 23.3 个点,说明 lens tuning 的收益不是多训出来的副作用。通用能力上,GenEval 和 MMLU-Pro 都没显著损失,六个区间都盖住 0。
四、该泼的冷水
这套东西还不能当实时工具用:每读一个状态都要生成一整张图,论文自己测是 9 到 110 秒。
题集也小:两跳题 16 道,描述对 30 对,两义词和代词对各 20 个,两状态对 16 对,状态场景 40 个,互换场景 28 个。论文在局限一节里写了,未命名物体的恢复本来就有限,在 BAGEL 和 SenseNova-U1 上都不显著高于随机。
方法上也有自证问题:lens tuning 用的正是评价自己的那套透镜。不带图片的词状态监督,在 SenseNova-U1 的未见短语、HunyuanImage-3.0 的未见名词和短语上,反而超过 lens tuning。另一个细节:混元喂错图的对照组,文字正确率也从 40.0 涨到 47.5——视觉监督改善文字,不完全依赖图配对正确。
实际收益上,文字答案提升大约是 80 个故事里多对 10 个,而且只在被监督过的故事上测。状态搬运搬的是整个 hidden state,没有配对的对照 donor,没法把功劳单独算给图里的内容。通用能力检查只跑了一个种子。
五、往前看一步
机制上这不是从零开始。Diffusion Lens(ACL 2024,见 https://aclanthology.org/2024.acl-long.524/)就在文生图的文本编码器上做过类似的事:从中间表示生成图像来解读它,还发现不常见概念要花更多计算。区别是它要外部文本编码器和单独的扩散模型,V-lens 用模型自带的生成器。
也有前车之鉴。Faithful-Patchscopes(见 https://arxiv.org/abs/2602.00300)发现,用模型自己解码隐藏表示会被语言先验带偏:上下文编码的是紫色西兰花,解码出的解释还是绿色,平均忠实度掉了 18.84%。V-lens 换了解码通道,天花板却还在:生成器只会画它会画的东西,读不出不等于脑子里没有。
所以呢?统一多模态模型的稀缺资源,可能不是它会画图,而是它顺手给了你一把读内部状态的放大镜。只是这把放大镜还得现拍照片,慢到只能做离线审计。等它能实时读,「模型在想什么」大概才第一次可操作。
代码在 https://github.com/multimodal-ai-lab/V-lens 放出,仓库含各模型适配器、评委面板和训练脚本,按 README 不含图片、结果和权重。