统一模型的「两张皮」问题吵了两年:理解和生成各用一套表示与训练目标,共享骨干只是形式统一。上海 AI 实验室把 Intern Lumina U2 挂上 Hugging Face,交出一个彻底离散化的答案:图像、视频、3D 输入全部编成多码本离散 token,与文本在同一个优化空间里、用同一套掩码扩散目标训练(论文:https://arxiv.org/abs/2610.20818)。
一个视觉位置,八个码本
单码本离散 token 的老毛病是表示容量不够,细节和语义顾此失彼。U2 给每个视觉位置配 8 个互补码本(每本 4096 词表,FSQ 量化),视觉 tokenizer 用 Apple 开源的 AToken,把图像、视频、3D 编进同一个 4D 潜空间,训练全程冻结。骨干侧的处理很克制:输入端 8 个 code 的 embedding 拼接后投影成单个 token,序列长度不随码本数膨胀;输出端用一个轻量多码本 AR 头在位置内部按码本序依次预测,位置之间仍由扩散骨干并行精修。位置编码沿用骨干的 1D RoPE,空间结构靠分隔符标注。
1.4B 激活的 MoE 底座
骨干从 LLaDA2.0-mini 转来:总参 16.9B,每 token 只激活 1.4B;20 层里首层稠密,其余 19 层各带 256 个路由专家加 1 个共享专家,每 token 激活 8 个路由专家。为接视觉只加 0.65B 参数接口,文本能力直接继承。
跑分:理解 6/10 第一,生图逼近 Qwen-Image
官方评测里,1.4B 激活的 U2 十个图像理解基准拿了六个第一,CharXiv 85.9、HallusionBench 64.6、MathVision 36.5、DynaMath 63.6 领先最明显;对比同骨干的 LLaDA2.0-Uni 十项里八项占优。视频理解三项基准全部第一(NVIDIA 版 Video-MME 56.7、MLVU 64.9,昇腾版 MVBench 61.8);3D MM-Vet 总分 50.5,超过 PointLLM、ShapeLLM 两个 3D 专用模型。生成侧,统一模型里 DPG-Bench 87.99、UniGenBench 86.11、TIIF-Bench 87.1 均为最佳,GenEval 89 追平最强——考虑到 Qwen-Image 每 token 激活参数量约是它的 14 倍,这个逼近相当能打。短板也直白:OneIG-Bench 文字渲染 20.11 落后 LLaDA2.0-Uni 的 31.23,样本多样性也偏低。
生图 4.45 倍加速:置信度平台期提交
扩散解码贵在反复精修。视觉置信度天然偏低——96 步里中位数只从 0.046 爬到 0.127,绝对阈值提交规则不适用,U2 改用时间信号:置信度进入平台期的位置提前提交,Halton 低差异序控制提交顺序,V-verify 漂移检测决定何时刷新缓存。叠加 CFG 合批、AR 头 KV 缓存、隐状态缓存,生产路径 159.9 秒的生图延迟压到 35.9 秒,端到端 4.45 倍加速,GenEval 还从 86.6 升到 89.3。
1024 颗昇腾 910B 全栈,Apache 2.0 开源
工程侧更值得记一笔:训练、推理、评测全栈在 1024 颗昇腾 910B 上完成适配,NVIDIA 侧只跑小预算参考实验做跨平台验证——昇腾是主训练平台而非备胎。代码以 Apache 2.0 开源在 GitHub,权重上架 Hugging Face。「首个全离散多码本扩散语言模型」还是团队自述,文字渲染短板也摆在那里,但这份把表示容量、任务统一性和国产算力栈一次交齐的开源,给统一模型路线提供了一个值得复现的参照系。