文档解析大概是多模态 AI 里最不性感的赛道——没有对话,没有生成,就是把一页纸变成机器能用的结构化数据。但腾讯优图实验室新开源的 Youtu-Parsing-Omni 交出了不太寻常的成绩单:5B 参数,在 OmniDocBench v1.6 文档解析基准上拿到 96.96 的总分,身后是 Gemini-3-Pro(92.91)、Qwen3-VL-235B(89.78)和 GPT-5.2(86.59)。

一个模型,十类任务

它做的事一句话就能说清:给它文档页、自然图像、图表、几何图形、音频或一段带声音的视频,它输出统一的结构化 JSON——感知层给版面元素、文本、表格、公式、边界框、时间戳、ASR、声学事件,认知层给标题、叙述、报告,十类任务共用一套 OmniSchema 输出格式。

架构上它没走常见的「双塔」路线(视觉、音频各一座塔,到语言模型里才汇合),而是用单一的 Youtu-Omni-Encoder 吃下所有模态;编码器从预训练文本语言模型初始化以强化文字读取,像素和 log-mel 音频帧经薄 stem 转成 token,由共享双向 Transformer 在统一的 (t, h, w) 位置编码下做上下文化——视觉与音频共享同一时间坐标系,跨模态对齐在编码器内部完成,而非留给解码器事后重建。

后训练:让学生自己当老师

训练路径是 SFT 加 schema 路由的 RLVR,再加一段名为 OSAD 的自演化后训练:学生采样自己的解析,通过准入门的 rollout 由一个能看到参考解析的冻结副本打分;每轮结束合并 LoRA 适配器、学生变成下一轮的老师——不需要手工设计的奖励,也不需要单独训练教师模型。

跑分拆开看:垂直碾压,通用还差口气

文档侧 OmniDocBench v1.6 上,96.96 总分、98.20 表格 TEDS-S、0.1104 阅读顺序编辑距离都是第一;化学式识别 ChemOCR 上 Tani 相似度 54.2 居首,GPT-4o 只有 3.4;乐谱识别 PDMX-Synth 上字符错误率 22.73,优于专门的乐谱模型 LEGATO(23.30),GPT-5.6 是 45.02。

但全模态侧的 OmniParsingBench 讲了另一个故事:均值 75.08 排第二,落后 Gemini-3-Pro 的 77.44。细分看,图表(95.02)和音频(78.08)两项第一,几何图形(74.33 对 85.43)、自然图像、自然视频明显落后。解析任务上已能打旗舰,通用视觉理解还有差距——官方没回避,表就在 model card 里。

所以呢

权重已在 Hugging Face 和 ModelScope 放出,配套 vLLM、SGLang 插件与 Docker 镜像,技术报告 PDF 放在 GitHub 仓库(TencentCloudADP/youtu-parsing),arXiv 编号待补;许可证为自定义条款,商用前值得读一遍。

比模型更值得注意的信号是:解析类脏活正从「调用旗舰 API」转向「专用小模型本地跑」。5B 一台工作站就能部署,对手是按 token 计费的 GPT-5.2 和 Gemini-3-Pro。对知识库、票据流水线、音视频归档团队,这不是又一个「开源追平闭源」的故事,而是成本结构换了一档。当脏活被 5B 模型承包,旗舰 API 的护城河只剩通用推理。

参考:huggingface.co/tencent/Youtu-Parsing-Omni(model card 与评测表)、github.com/TencentCloudADP/youtu-parsing(技术报告 PDF 与推理代码)。