实时视频生成正在从「生成一段片段」转向「边生成边接受用户指令」。但当请求在会话进行中不断到来，问题就不再是单帧好不好看，而是模型能不能按时机执行变更、同时不破坏已经生成的内容。论文给出的判断很直接：视觉质量高，不等于听指挥。
一个此前没人系统测过的空白
论文逐一对照了 VBench、T2V-CompBench、TC-Bench、NarraStream-Bench、MBench、WorldMark、WBench、StreamAV-Bench、GenBench、THEval、Full-Duplex-Bench、VideoFDB、EditVerseBench 等十余个已有基准，结果是没有任何一个同时覆盖全部五类交互场景。作者据此把 StreamEval 定位为首个统一的交互式流式视频生成基准，榜单在 streameval.ai 开放，代码 Apache 2.0、数据 CC BY 4.0，Hugging Face 与 ModelScope 提供约 3.1 GB 数据集。
300 个用例，四个维度，十个指标
基准包含 300 个脚本化测试用例，单次会话时长 15 到 300 秒。每个用例规定初始素材、逐步到达的多模态请求，以及明确的状态变更与内容保持要求。评测分任务执行、状态一致性、视觉保真度、音视频协同四个维度，落到十个 0 到 100 分制指标。时长分档上每档 12 个用例、每个模型每个用例跑三次独立运行，五个时长档在任务内等权聚合，长会话不会因为时间更长而占据更大权重。
37 个模型的名次：强者也会失手
数字人表演任务里，Vidu S2 Avatar 以 99.60 的音视频同步和 97.25 的稳定性领先，综合分 81.71。但即便在这样的系统上，听指令执行（Following）也只拿到 36.90，而该项最低值是 Avatar-Forever 22B 的 6.37。论文特意点出：有些系统身份保持超过 80 分、稳定性超过 96 分，听指令这一项依然很低。
世界生成的分歧更明显。综合分上 MemFlow 以 33.36 略高于 Rolling Forcing 的 33.01；但换到 Following 一项，Krea Realtime 25.93 排第一，综合分领先者并非指令执行领先者。HappyOyster 1.0 Adventure 的画质与稳定性最高（58.34 和 56.67），Following 却只有 5.56、连续性 2.78。ShotStream 画质 33.80，稳定性和连续性分别掉到 20.55 和 9.34。
最薄弱的是参考图编辑：在报告该项的三个模型里，最高编辑成功率为 15.00 分。
比「更好看」更难的那部分
论文标注的机构包括清华大学、NVIDIA、CMU、UC Berkeley、普林斯顿、新加坡国立大学等，提交后登上 Hugging Face 当日论文第三。
这套评测的价值恰恰在于它不奖励「画面更真」：一个模型可以在视觉指标上拿高分，同时在收到「把镜头转向左边」这类请求时基本不响应。论文结论也承认了边界——自动评判依赖预设的期望结果，下一步要收集人工两两判断并检验其与评分规则的一致性。
所以下次再看到实时视频模型的演示，值得多问一句：它是在播放一段录好的视频，还是真的在听你说话。榜单目前给出的答案是，前者的画质早就跑完了，后者的执行还在及格线上挣扎。