长视频剪辑的难点从来不是"把几段画面拼起来",而是让一堆互相依赖的决策在几十个镜头之间保持一致:改一个镜头的时长,后面所有时间戳都得跟着动;素材不合适,光换素材不够,还得回头重做分镜。WeVisCut 的思路不是拿通用大模型去编排流程,而是把整间"剪辑室"塞进一个 9B 的策略模型,让它自己决定下一步该调哪个工具。论文全文
从成片里挖出监督信号
真正卡住这类系统的是数据。成片只留下结果,不留下工具调用、中间产物和失败过程,而智能体训练恰恰需要后者。WeVisCut 的做法是四段式数据引擎:先用编辑反演从成片里恢复脚本与镜头的对应意图,再用生产工具做验证式重放;重放暴露出缺陷时进入"观察—反思—修复"的有界修正,并且尽量保住已经成功的产物;最后把录制下来的执行整理成带工具反馈和修复结果的训练样本。
论文报告从 3,750 个已完成的视频项目里构造出 134771 条训练样本。官方仓库把这套采集流程作为 data_construct_pipeline 一并放了出来,并说明发布出来的运行时和训练时用的是同一套 12 个工具、同一份状态 JSON。
三个阶段把总分从 74.5 推到 90.5
训练分三步。第一步是统一 SFT 加运行时验证的拒绝采样微调,先学会用工具、并能从失败里恢复;第二步 Guided-OPD 在学生自己走出来的状态上练恢复能力,教师是 Qwen3.5-397B-A17B 的 FP8 版本,介入概率从 0.8 起在 70 步内衰减到 0;第三步是论文新提的 RCF-DAPO,把 DAPO 的奖励比较限制在同一个角色、同一种生产上下文里做。
消融表给出的路径很清楚:基座 Qwen3.5-9B 总分 74.5,SFT 后 79.5,加 RFT 到 83.5,加 Guided-OPD 到 84.9,最后 RCF-DAPO 到 90.5。后两步的增量明显大于前两步。
9B 的成本账,和一个输掉的指标
共享工具环境下,论文自测给出的总分是 WeVisCut 90.5、Claude Opus 5 89.9、Gemini 3.1 Pro 84.6、Qwen3.5-397B-A17B 81.5、Qwen3.6-35B-A3B 77.7、Qwen3.6-27B 75.9。质量上差距确实很小。但成本一栏拉得很开:每成功产出一分钟成片消耗的生成 token,WeVisCut 是 2,377,Opus 5 是 78,763,前者约为后者的 3%,论文的说法是接近 33 倍;每分钟调用次数是 3.1 对 11.6。
换成各家自己的原生流程对比,WeVisCut 每输出分钟耗时 2.1 分钟、花费 0.09 美元,Crayotter 是 8.6 分钟和 0.97 美元,VideoAgent 是 10.4 分钟和 0.58 美元。
不过有一个指标 WeVisCut 是输的:VNSM(叙事连贯)74.6,Opus 5 是 74.8。而 VNSM 恰好是五个指标里唯一依赖视觉语言模型打分的那个。
人评分数更高,但论文自己踩了刹车
三名标注员在同样的 100 个任务上做盲评,WeVisCut 六个维度均值都最高,整体偏好 4.56,Crayotter 3.48,VideoAgent 3.46;差距最明显的一项是叙事连贯,分别是 1.23 和 1.28 分。
论文没有把这件事往大了说,原文明确写了这些描述性均值不构成统计显著性,也不验证单个自动指标。限制章节同样坦率:视觉风格受限于现有 HyperFrames 模板库,验证式重放只能保证在已注册的运行时里可执行,而 VNSM 依赖视觉语言模型,即便加了证据隔离和人类校准也消除不了评审偏差。
我的判断
把这篇论文读成"9B 打败了 Opus 5"是不准确的。90.5 对 89.9 那个 0.6 分的差距,落在论文自己承认不构成显著性的量级里;真正硬的数字是 token 成本——接近 33 倍的差距,意味着同样的成片产出量,账单能差一个数量级。
更值得抄的其实是数据引擎。成片反演加验证式重放这套流水线,不挑模型也不挑模态,任何做长视频、长文档、长流程智能体的团队都能复用。而它架构上的选择也值得留意:12 个工具、每次一个调用、护栏只拒绝非法调用而不替模型做决定,剩下的就是用一次次便宜调用换稳定性。
至于输掉的 VNSM,那恰恰是垂类小模型补不上的短板:当"好不好"要靠另一个视觉语言模型来判断时,9B 的差距就会显出来。
开源时代真正稀缺的不是又一个更大的模型,而是有人愿意把失败的中间过程也开源出来。你觉得这套"从成片反推轨迹"的方法,能不能用在长文档或者软件交付流水线上?