把一个视频生成模型做成「能玩的游戏」,最难的不是画面,而是三件事:世界状态要持久、游戏规则要可执行、交互延迟要低到玩家感觉不到。Skywork AI(昆仑万维)的 Matrix-Game 系列一直在走这条路线,10 月 15 日放出的 Matrix-Game 4.0 给出了一个明确的技术答案:别让模型一个人扛全部——把游戏逻辑还给引擎,神经渲染只管画面。
引擎管规则,渲染管画面
Matrix-Game 4.0 的核心设计是把「游戏执行」和「视觉生成」拆开。一套轻量游戏引擎维护世界状态、执行交互规则和物理;一个多模态编码智能体负责把玩家的自然语言想法翻译成游戏代码与动态场景字幕;真正出画面的是一个基于自回归视频模型的渲染器,它把引擎渲染出的低多边形代理帧转化成高保真视觉,条件输入是动态字幕和记忆参考。
渲染器用成对的低模/高保真视频训练,再蒸馏成一个因果生成器,按四帧一个块往前走,每块只需一到两步去噪。这套引擎持续引导视觉生成的框架,也让玩家可以用自然语言创建和修改场景与玩法。
单卡 60FPS 是什么概念
数字来自官方论文与技术报告:在单张 NVIDIA RTX 5090 上,Matrix-Game 4.0 实现 480p、60FPS 的游戏画面,按键到显示延迟 112 毫秒;单步生成模式下稳态吞吐 83FPS,峰值显存 18.2GiB。固定提示词、配合 SageAttention 时,RTX 5080 到 67FPS、RTX 5070 Ti 到 58FPS。5090 路径用上了 FP8 线性层、融合内核、CUDA 图和可选的 SageAttention 后端,仓库还提供 A100 的单卡推理路径和浏览器在线 demo。
首发放出三款场景:中世纪城堡、古埃及(均为第三人称射击)和城市赛车。代码、模型权重和低模游戏资产以 Apache-2.0 许可证开源,GitHub 仓库目前已有 2.7k star。
与端到端路线的分岔
此前世界模型做「可玩世界」,主流是在生成端卷速度——八月底开源的 ForgeWM 用一步去噪做到 72FPS。Matrix-Game 4.0 换了个方向:规则、物理、玩家输入全部留在可执行引擎里,模型只负责把低模画面变好看。好处很直接——游戏机制由引擎强制执行,不会像纯生成模型那样出现物理漂移,玩家输入也能得到确定性响应;代价同样清楚——能玩什么受低模资产和场景库限制,首发只有三款场景,分辨率停在 480p,5080/5070 Ti 的 67/58FPS 还要固定提示词才拿得到。
从 2025 年 5 月的 1.0 到今天的 4.0,这个系列已经迭代四代,路线判断一以贯之:可玩性是工程问题,不只是模型问题。对做交互内容的人来说,值得盯的可能不是下一个更大的视频模型,而是延迟、状态持久和规则执行这套工程闭环怎么搭起来。
参考:arXiv:2610.27999;github.com/SkyworkAI/Matrix-Game