先看一个别扭的设定:视频在实时流式地来,而问题可能下一秒才到。等你听到"刚才那个人穿的外套是什么颜色",那一帧早就过去了。流式视频理解的核心难题从来不是看得不够清,而是必须在不知道问题是什么的前提下,提前决定记住什么。现有做法大多把视频历史压缩成摘要,既容易抹掉事件转折点,也无法在事后找回被丢掉的细节。

南开大学 VCIP、字节跳动、IQuest Research 与中科院自动化所的研究者开源了 DeltaStreamer(arXiv:2610.19849),给这个问题补上了一个人类本能的动作:回头去看。

先记变化,再回头查证

DeltaStreamer 是一个面向流式视频理解的 agentic 框架,由三块组成:

  • 显式视觉增量:逐帧对比相邻画面,把"变化了什么"与场景描述一起保留,让事件转折显式化;
  • 结构化文本记忆:把观察结果、片段摘要和钉住的事实组织成分层 DAG,带实体索引和指向原始证据的指针;
  • 查询驱动规划与重放:问题到来后,先规划回答需要哪些证据,引导检索与工具调用;记忆不够时,定位更早的场景并回放历史帧,把文本记忆里丢掉的视觉细节直接读回来。

一句话概括:观察视频流、记住发生了什么、记忆不够用时回去查证据。整个系统无需额外训练,搭配本地 VLM 权重即可运行。

跑分与工程细节

论文报告的总分:OVO-Bench 66.07、StreamingBench 59.53,超过代表性流式理解方法——注意这是论文自报数字,README 同时明确说明,开源版本尚未完成完整的 GPU 推理回归。工程栈相当"能跑":vLLM 0.19.1、ms-swift 4.2.0 加 transformers 5.5.4;主干用 Qwen3.6-27B 负责观察、规划与回答,SAM2.1 Hiera Large 做目标追踪,Whisper base 做语音转写。仓库附带中英双语界面的交互 demo,上传视频、选时机提问,可以看到 agent 的观察、记忆与计划全过程。许可证为 CC BY-NC 4.0,商用需另谈;训练代码与实验工件未放出,本次发布只保留推理实现、prompts 与记忆公式。

为什么值得盯

这个工作代表了一条与"端到端模型内建记忆"不同的路线:不赌模型把一切都装进上下文,而是把"记什么、何时回头"做成显式的策略层。代价是重放引入额外延迟与存储,但对直播这类允许"稍后补答"的场景,换来的证据级准确性是划算的——团队自己也顺着这条路径发布了直播陪伴应用 AI 同担,连弹幕建议都做了。对做视频监控、直播理解、多模态 agent 的团队,这套"变化感知记忆 + 定向重放"的拆法值得拆开细读:当看视频的 AI 从被动压缩转向主动调查,流式理解的瓶颈可能不在模型大小,而在记忆策略。

参考:arXiv:2610.19849(https://arxiv.org/abs/2610.19849)· 代码:https://github.com/BBBBchan/DeltaStreamer