腾讯优图的 5B 全模态解析模型 Youtu-Parsing-Omni,权重 10 月中旬就上了 Hugging Face 和 ModelScope,当时大家看到的是榜单数字。10 月 29 日,团队放出了完整技术论文(arXiv:2610.39301),把「怎么训出来的」讲透了——论文次日冲上 Hugging Face 每日论文榜第二,拿到 66 个赞。
一个编码器:连坐标系都共用
业界现成的全模态解析器大多用两座分别预训练的塔,像素流和音频流要等进了语言模型才相遇。优图的做法是把两座塔换成单个 Youtu-Omni-Encoder——从一个预训练文本语言模型初始化,先把「读文字」的底子打牢;像素和 log-mel 音频帧只经过薄薄一层模态专属 stem 就映射成 token,然后由共享的双向 Transformer 在统一的 (t, h, w) 位置编码下统一上下文化。视频帧的 t 来自帧序号,音频块的 t 来自时间偏移,两套模态共享同一根时间轴。
关键的几层「融合层」会在每个音频-帧边界开新注意力窗口,让每一帧都能看见同一瞬间的声音——跨模态对齐在编码器内部就完成,不用等解码器事后重建。整套设计里只有 stem 和合并投影头依赖模态,感知参数几乎全部共享。
OSAD:老师就是上一轮的自己
训练侧的招叫 OmniSchema-Aware On-Policy Distillation(OSAD)。前提是十类解析任务共享同一个 OmniSchema 输出协议,于是一套 token 角色目标能吃遍所有任务:学生模型采样自己的解析结果,通过准入门(JSON 合法、schema 一致、坐标语法、重复检查)的 rollout 由一个冻结的参考副本打分——这个副本额外能看到参考答案。每个 token 被区分为内容或结构,内容用 JS 散度、结构用高温前向 KL。每轮结束时学生的 LoRA 权重合并,学生变成下一轮的老师:解析器和它的监督共同进化,不需要手工设计奖励,也不需要单独训一个教师模型。
榜单:96.96 居首,75.08 紧追 Gemini
官方给出的结果表里,OmniDocBench v1.6 它以 96.96 Overall 居首,身后是 TeleOCR 1.2B 的 96.91、Gemini-3-Pro 的 92.91 和 GPT-5.2 的 86.59。更全面的多模态基准 OmniParsingBench 上,Gemini-3-Pro 以 77.44 居首,它拿 75.08 排第二、开源权重模型里最靠前;其中音频项 78.08 压过 Gemini-3-Pro 的 76.74,图表解析 95.02 也是表内最佳,几何、自然图像、视频等单项仍落后 Gemini。两个长尾项有亮点:化学结构 ChemOCR 的 Tani@1.0 一致率 54.2 居表首;乐谱转写 PDMX-Synth 的 CER 22.73,甚至略优于专用音乐模型 LEGATO 的 23.30,把 GPT-5.6(45.02)和 Gemini-3-Pro(54.26)甩开一大截。
所以呢
解析赛道正在从「每个任务堆一个专用小模型」转向「一个 omni 底座 + 统一输出协议」:坐标编码成专用 token、按 0-1000 网格相对取值,时间戳直接落到 HH:MM:SS,输出是一个带边界框和时间段的 JSON 信封——这正是 Agent 感知层要的「可引用证据」格式。工程侧也给得足,vLLM 0.19 插件、OpenAI 兼容接口和全部任务提示词都在仓库里。OSAD 这种「参考副本滚动刷新」的自蒸馏,对攒不起大规模标注的团队尤其有参考价值。短板同样清楚:视频理解单项还没过 Gemini,总榜仍是第二。论文见 arXiv:2610.39301,代码在 github.com/TencentCloudADP/youtu-parsing。