OpenMOSS 团队 7 月 14 日开源了 MOSS-VL-Realtime,这是 11B 参数的实时流视频视觉语言模型,把 VLM 从"先加载完整视频再回答"的批处理范式,推到了"边看、边等、边改"的实时流范式。 核心创新有三条。第一是**交互范式重定义**:用户可以在任意时刻插入提问,模型基于当前帧立刻作答;在视觉证据不足或场景无关键变化时,模型主动发出 <|silence|> 保持沉默;当新帧到达,之前已经给出的答案会被即时修正,而非被锁死在初版解读。这背后是一条统一的交错 token 流——视频帧、用户提问、模型回答被拼接在同一时间轴上,问题像"弹幕"一样插入,模型可以在答案中途就被新视觉信号扭转方向。第二是 **Decoupled Cross-Attention**:把视觉特征抽取和文本生成之间的 cross-attention 解耦,显著降低高帧率下的端到端吞吐与延迟。第三是 **XRoPE(Cross-dimensional Rotary Positional Encoding)**:把空间维 (h, w) 与时间维 t 用同一套旋转位置编码统一映射,让模型在 256K 的长上下文里精确知道"什么时候、哪里、发生了什么",即使切片截断也能保持时空一致性。 相对于同期发布的 Vidu S1、Wan-Streamer、NVIDIA Cosmos 3 等偏向"视频生成"的实时模型,MOSS-VL-Realtime 直接瞄准的是**视频理解的实时化**,填补了开源生态里"VLM 在线推理"的空白。9 个官方 Demo 覆盖了监控告警、直播解说、实时计数、互动阅读等场景,证明它的"主动说话-主动沉默"逻辑可以真正落地。OpenMOSS 同时放出 MOSS-VL-Instruct 与 MOSS-VL-Base,加上 Hugging Face 上的开放权重,会让直播解说机器人、具身感知 Agent、屏幕解读工具等赛道长出一个真正的"在线视觉大脑"。