VIDRAFT VKUE 把同一份 34.7B 稀疏 MoE 权重从 B200 跑到裸 CPU

来自 FINAL-Bench 的 VIDRAFT 团队本周在 Hugging Face 社区博客发布 VKUE(VIDRAFT Kernel Ubiquitous Engine)实测,把同一份 Ourbox-35B-JGOS 权重从单卡 B200 数据中心(聚合 18,057 tok/s)、单卡 A10G(126 tok/s)、8GB 显存笔记本(20 tok/s),一路压到完全无 GPU 的 CPU 服务器(~17 tok/s)。每个数字都带公开复现路径和 GPU/CPU 双路在线 demo,不是 PPT 上的承诺。 关键洞察不在新 kernel,而在模型本身的物理性质:Ourbox-35B-JGOS 来自 Qwen3.5-MoE / Qwen3-Next 系列,34.7B 总参数但每次 token 仅激活约 3B(256 专家 top-8,Gated-DeltaNet 线性注意力与全注意力交错)。解码是 memory-bandwidth bound,单 token 实际搬动约 1.45 GB,比同体积密集 34B 的 16.7 GB 缩小 11 倍——这才是「同一份权重能塞进 8GB 卡」的根本原因。 在同一台 8GB 笔记本、同一 VKUE 引擎、同一 Q3_K_M 量化下做严格 A/B:稀疏 A3B 拿到 20.01 tok/s,Qwen2.5-32B 密集基线只跑出 5.36 tok/s,3.7× 加速完全来自稀疏本身。能力侧 Ourbox-35B 在 GPQA Diamond 上拿到 86.4%(maj@8)/ 70.7%(greedy)。团队口号「VKAE 求快,VKUE 求广」点出工程转向——sparse MoE 的红利不该被数据中心独享,自托管、边缘部署和公共部门场景都能用上 frontier-class reasoner。