视频生成模型长期有个尴尬的默认设置:片子是哑的。配音、音效、环境声要靠 TTS 工具和剪辑软件后期拼上去,对口型更是人工活。10 月 4 日,Kandinsky Lab 放出论文《Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation》(arXiv:2610.05608),两天后的 10 月 6 日直接把权重、代码和 diffusers 集成以 MIT 协议全部开源,把"音视频一体生成"从闭源旗舰的卖点变成了开源社区的公共能力。
两个尺寸,一次成片
这次发布是一对模型:Lite 版 3B 参数,Pro 版 29B 参数。两个模型都直接输出 5 秒视频片段,自带 44kHz 同步音频和唇形同步,支持文生音视频(T2AV)和图生音视频两种模式;再挂一个 1.4B 参数的超分扩散模型,可以把成片拉到 1920×1080。团队规模不小,论文署名作者超过 80 人。
双流 CrossDiT:视频流带音频流
架构上最值得看的是"双流"设计:视频流承接 Kandinsky 5.0 的视频生成能力,音频流从零开始,先在大规模纯音频语料上预训练,再与视频流在成对音视频数据上联合训练;两条流之间用双向交叉注意力做时间和语义对齐,同时保持单模态保真度不退化。预训练之后是监督微调、强化学习后训练和蒸馏三步。官方数据显示,RL 后训练把 Pro 版的语音词错率(WER)降低了 47%——这是本次发布所有数字里最硬的一个。
官方自建评测 VABench 上,Pro 版在语音质量、音频美感、音画对齐、唇形同步、视觉真实感等项目上优于 LTX 2.5 与自家 Lite;人工盲评中 Pro 对上一代 Kandinsky 5.0 Pro 是"明显胜出",对 LTX 2.5 在画面质量、运动真实感、伪影控制等维度占优,语音质量优势具统计显著性。注意这些是官方口径的评测,结论以论文原文为准。
消费级显卡能跑,生态当天就位
README 给出的实测数据很实在:非蒸馏版 Lite 在 RTX 4090 上一段 5 秒成片约 437 秒,H100 约 239 秒;Pro 版 Full-HD 在 H100 上约 402 秒,RTX 5090 用 block offload 约 854 秒——慢,但消费级显卡确实能跑。开源当天(10 月 6 日)生态同步就位:ComfyUI 节点包、vLLM-omni 支持、Hugging Face 在线 Demo 一同上线,GitHub 仓库一天内拿到 120+ star,HF 上已有 8 个关联模型仓库。
所以呢
音视频一体生成此前基本是闭源旗舰的领地,开源方案多靠"视频模型 + TTS"管道拼接,对齐和唇形同步是老大难。Kandinsky 6.0 用 MIT 协议把整套东西——双基础模型、超分模型、蒸馏版——一次放全,对本地部署和二次开发相当友好。真正的悬念在长视频:5 秒是当前上限,把同步生成扩展到分钟级,才是下一场硬仗。