OCR 路线被撼动:上海 AI 实验室让 LLM 直接「看」PDF,在 Qwen / Llama 上以 25% token 预算超越文本预训练

arXiv 2607.09657 / 上海 AI 实验室等团队提出 Visual Pretraining (VP):直接以视觉 patch 作为 LLM 预测目标,不做 OCR、不需图文配对。在 Qwen3.5 / Qwen3 / Llama3.2 Vision / Llama3.1 四个基座上,同语料仅用 25% token 预算即可全面跑赢 Text Pretraining,GPQA Diamond 最多 +3.22,MMLU-Pro +2.1,且把图文嵌入质心距离压低 60%、k=1 互邻域重叠从 0.14 跳到 0.31。这可能改变下一代基础模型的数据流水线设计。