把检索回来的长文档压进上下文窗口,一直是 RAG 系统最贵的一环。文本压缩会不可逆地丢掉细节——删掉的字符没法再找回来;视觉编码路线则提供了另一种可能。11 月 10 日挂上 arXiv 的 OpticalRAG(中国人民大学信息学院,论文编号 2611.13675)给出的诊断是:卡点未必是信息密度不够,而是你选择在一维文本序列里压缩。一整页文档渲染成图片后,现代视觉编码器能用大约 100 个视觉 token 装下,语义损失却很小——这是纯文本路线够不到的压缩比。
三个组件,总共约三千万可训练参数
整套流程是「渲染 → 编码 → 检索 → 蒸馏」四步。文档按 24,000 字符切块,用确定性排版引擎渲染成 640×640 的页面图,送进冻结的 DeepEncoder(架构取自 DeepSeek-OCR 的 SAM-ViT-B 加 CLIP 组合,从其 checkpoint 加载),每页产出 100 个、维度 1024 的视觉 token;这些 token 逐个进离线 FAISS 索引,用点积取固定 top-256。
两个真正需要训练的部分:一是 Encoder-Bridged Retrieval,把 LLM 最后一层的 query 隐状态投影进视觉特征空间,靠与压缩器共享的投影层完成,不需要对比学习;二是 Query-Driven Distillation,一个轻量交叉注意力压缩器,用 16 个可学习 query 把检索到的 256 个视觉 token 蒸馏成 16 个,再经 VisualToLLMBridge 投影回 LLM 的嵌入空间。
冻结的 DeepEncoder 和 Qwen2.5-7B-Instruct 都不动,可训练的只有压缩器(14,187,520 参数)和桥接层(16,529,408 参数),合计 30,716,928。训练分两段:先用 Wikipedia 加 C4 的 3,800 条样本做文本重建预训练(学习率 1×10⁻⁴),再用 SQuAD v2、DROP、CoQA 的 11,400 条做任务微调(学习率 3×10⁻⁶)。仓库放出了推理代码与压缩器 checkpoint,但不含训练流程。
49.68 分里,有 13.89 分是倍率给的
论文的主指标叫 CAP(压缩感知准确率):把任务分乘一个由 token 预算决定的倍率,倍率是 ((12000+1)/(B+1))^0.05。我按论文给的公式把主表 21 个格子全算了一遍,全部对得上。但复算过程本身暴露了值得说的东西。
LongBench-v2 上,方法的原始分 35.79,是论文这张表里七个方法中最高的,比标准 RAG 的 31.41 高 4.38 分,比闭卷基座 30.62 高 5.17 分,注入 token 从 1622.68 降到 16,少了约 101 倍。CAP 是 49.68,也确实是最高。问题是:35.79 乘以 1.3882 等于 49.68,也就是说,13.89 分(占 28%)纯粹来自压缩倍率,不是任务准确率的贡献。
BAMBOO 上更能看出这个结构:原始分 61.00 其实不如 RECOMP 的 75.50 和 LLMLingua-2 的 73.50,它赢的是 CAP(84.67 对 81.80)。LooGLE-v2 上原始分 23.54 确实是最高,但 xRAG 只注入 1 个 token、原始分 21.06,CAP 就能拿到 32.54,与本文方法的 32.67 只差 0.13 分——倍率对极小 token 预算的奖励,比原始分差距更抢眼。
多给 token 反而更差
消融实验最能说明压缩不是「越多越好」。按注入 token 数从少到多排,整体分依次是 31.0(1 个)、31.6(2 个)、31.4(4 个)、32.8(8 个)、35.8(16 个)、30.0(32 个)、34.2(64 个)——32 个 token 的成绩比 8 个还低,64 个也仍然不如 16 个。论文给的解释是查询条件化内在秩 r:压缩 token 数只需匹配 r,而 LongBench-v2 上 r ≤ 16,超过这个数并不会带来更多信息,只会让优化更难。
不是一个人的想法
「用像素替代文本」这条路线,眼下至少有三支团队在做。DeepSeek-OCR 在 2025 年 10 月就报告过:一页文字可压到约 100 个视觉 token,压缩比低于 10 倍时 OCR 精度仍有 97%,到 20 倍时约 60%;在 OmniDocBench 上用 100 个 vision token 就超过了每页 256 token 的 GOT-OCR2.0。2026 年 6 月的 PixelRAG 把网页直接当截图检索,在文本为主的 NQ、SimpleQA 上反而更准,相比文本基线最高提升 18.1%,靠降分辨率最多省 3 倍 token。8 月的 RAGOCR 用 GRPO 训一个压缩器给每段文档动态分配分辨率,比朴素 RAG 准确率高 15% 以上而输入 token 只要八分之一;它学出的压缩比例还能直接当 reranking 分数用,反超 Qwen3-Reranker-4B。
OpticalRAG 属于这条线,但把压缩比推到了 16 个 token 的位置——比前两者激进得多。
落地前该知道的三个限制
论文自己列得很清楚:评测只做了多选题,开放式生成没有验证;固定的 16 token 前缀预算,对需要跨越多个相距很远的文档片段取证的问题不一定够用;自适应前缀预算留给了未来工作。仓库只给推理代码和 checkpoint,不含训练流程,想复现得自己补。
所以这套东西现在更像一个方向证明,而不是可以直接抄进生产的东西。但它抛出的问题值得所有做上下文压缩的人想一想:我们一直在问「怎么把文本压得更小」,也许该问的是「信息能不能换个模态装」。