11 月 3 日,可灵(Kling)团队在 arXiv 发布技术报告《Behind Video Generation》,把 Kling 1.0 到 4.0 四代视频生成模型背后的「理解栈」一次性摊开:近 50 位研究者署名,从字幕、提示增强、文本编码器一路讲到奖励模型与评测。结论先行:视频生成的瓶颈正从渲染转向语义控制——通俗地说,从「画得像」转向「听得懂」。

进步的单位,从帧变成了序列

报告先梳理四年时间线:2023 年通用视频创作还停留在愿景,2024 年系统能出演示但不可控,2025 年头部模型已能产出可用的镜头级素材,2026 年前沿系统开始生成协调多镜头、持久主体、表演、镜头语言、对白、音乐与音效的完整短片。衡量进步的单位从帧、到片段、到镜头、再到完整序列。问题随之改变:序列级的质量是组合式的,约束相互作用、误差随时间累积,系统必须从异构输入里推断出潜在的创作意图,再表达成生成器能执行的条件。报告的核心论点是:生成质量是多模态理解贯穿「数据-条件化-对齐-评测」整条链路的投影。

一个底座,全家特化

链路起点是 Kling-MLLM:统一图像、视频、音频、音视频同步与交错输入的自回归多模态底座,家族包含 27B 稠密版与 35B-A3B、397B-A17B 两个 MoE 版,语言与视觉骨干从 Qwen3.5–Qwen3.8 系列检查点初始化。底座经任务后训练特化成字幕器、提示增强模型、文本编码器、奖励模型与自动评测器——视觉、时序与声学知识集中在底座复用,各任务自选精度与延迟的平衡点。音频塔分两档:小模型沿用 Qwen3-Omni 设计,16-kHz 单声道编码为每秒 13 个音频 token;大模型用双分支塔融合 Mel 与 waveform-VAE 特征,每秒 25 个。训练走四阶段课程:声学初始化、联合多模态、时序扩容、长上下文巩固。

字幕是合同,奖励拆两个

DiT 的训练样本量远少于语言模型,报告因此把「单位视频时长的描述密度」当作数据效率的核心度量:字幕是训练用的语义合同,并延伸出显式绑定引用的 reference-grounded captioning。提示增强分两层:basic PE 把用户意图翻译进字幕分布,最终阶段接入冻结的文本编码器与 DiT,做生成器在环强化学习,按视觉质量、运动质量、文本对齐三个奖励更新;agentic PE 在推理时先跑,负责故事修正与范例检索——因为生产环境里大量用户提示本身就是 AI 写的,长而流畅,却常自相矛盾。奖励模型也拆成两个:GRM 基于 Kling-MLLM-27B,输出可解释、带时空定位的批评,给出缺陷标签、时间区间、逐帧边界框与理由;DRM 单次 prefill 给多维分数。两者合计服务 DiT RL、PE RL、评测辅助、checkpoint 选择、数据过滤五个生产场景。

所以呢

文本编码器一节的判断值得同行细读:可靠的条件编码器来自感知训练,而非更强的语言能力;通用 QA 榜测的是自回归解码,不是 DiT 真正消费的隐藏状态;候选编码器可以纯文本预筛,再上昂贵的端到端训练。评测同理:单一聚合分诊断不了链路——同一个失败画面,可能源于字幕漏了监督、条件化丢了时序结构、奖励模型偏爱平滑但静止的运动,或评测器根本没测目标事件。这份报告的价值不在跑分,而在把「理解」从生成系统的事后评分器,变成贯穿生产链路的基础设施。arXiv 报告原文