视频生成模型的竞争焦点正在从"能动"滑向"高清":720p 逐渐成为入场配置,2K 才是下一个战场。但分辨率每上一个台阶,Transformer 的全注意力成本就按平方倍数膨胀一次;更隐蔽的代价是,注意力会摊到越来越多的冗余 token 上,真正值得学的信号反被稀释。腾讯混元联合复旦大学、浙江大学 10 月 4 日提交到 arXiv 的 Prism 框架(arXiv:2610.05416),把稀疏注意力从推理加速技巧升级成训练阶段的原生结构,专治音视频一体生成的 2K 训练账单。
音画一体生成,注意力却在一视同仁
音视频联合生成指模型在一次去噪过程中同时产出画面和声音。论文的出发点是一个容易被忽略的结构性事实——在联合音视频数据里,跨模态交互天然集中在"发声区域",那里才是音频真正施加影响的区域。而全注意力对此一视同仁,把算力平摊到整个时空体积;分辨率升到 2K 后 token 数量激增,冗余 token 摊薄了学习信号,还会扰动预训练先验。论文指出,现有稀疏注意力方案大多瞄准免训练的推理加速,没有针对音视频数据的区域化结构设计。
让注意力块的形状跟着内容走
Prism 的核心思路是"按内容下菜"。它先把 token 序列组织成时空宏区,让注意力结构能够适配局部内容;再对每个宏区估计两路信号——视频特征沿通道方向的方差,以及音频到视频交叉注意力的特征范数:前者刻画视觉内容在哪些方向上变化剧烈,后者度量音频对每个视觉区域的影响力强弱。基于这两路信号,Prism 给每个宏区动态分配定制的注意力块形状,视觉变化快的轴、音画耦合强的轴切分得更细,块内 token 因此保持语义连贯,块级特征既能概括视觉内容,也能捕捉音视频交互模式。最后再配合混合块选择策略,逐 query 决定稀疏度。
提速 2.5 倍,质量不降反升
结果是最有说服力的部分:相比全注意力,Prism 训练提速 2.5 倍,生成质量不降反升。代码与 preview 权重已按 MIT 许可开源(GitHub:Tencent-Hunyuan/Prism),截至撰稿已收获 300 余 star。preview 模型支持 720p、1080p、2K 三档原生音视频联合生成与训练,音频侧可用 <music>、<sfx>、<speech> 结构化标签控制;alpha 版本主打稳定,beta 版本主打运动,更强的 Prism-pro 还在路线图上。
门槛与看点
先泼冷水:仓库对硬件门槛写得很直白——训练 720p 至少 32 张 80GB GPU,1080p/2K 至少 64 张;推理 720p 单卡可跑,2K 需要 4 张以上,目标用户是有集群的研究团队,不是消费级玩家。
还有两点值得注意。其一,训练端稀疏与推理端稀疏是两条互补的线:业界此前更多做推理侧免训练稀疏加速,救的是部署成本;Prism 把稀疏做进训练本身,救的是训练预算,两者可以叠加。其二,音视频一体生成正在成为开源赛道的明牌,MIT 许可加上数据预处理、分桶、FSDP 训练、推理脚本的完整管线全部放出,延续了混元系在视频生成上的开源节奏。
所以,分辨率竞赛的下一程,瓶颈未必是更大的集群,而是更聪明的注意力结构。当 2K 训练的注意力账单能砍下大半,"原生高清"才从大厂特权变成可复制的工程问题。