图像模型圈过去两年的默认分工是:理解归 VLM,生成归扩散模型,编辑再单独训一个。腾讯微信团队 11 月 5 日挂在 arXiv 的 WeLM-Image 选择了另一条路——把多模态理解、文生图、指令引导编辑、多参考图合成四件事装进同一个基座模型,而且整个设计都围绕一个约束展开:要能在微信这种月活十亿级的消费应用里单卡跑起来。

一条序列,两套参数

WeLM-Image 把文本、参考图和目标 latent 当成一条交错序列处理;骨干用的是 Mixture-of-Transformers(MoT):注意力共享,理解和生成各持一套独立参数,目的是压住两条任务互相干扰的老问题。再往每条路径里加 MoE 模块做稀疏扩容,总存储 31.7B,每个目标 latent token 只激活约 5.4B 生成参数——大容量与低推理成本同时要。

数据引擎与训练配方

训练侧是一个「面向生成的数据引擎」:知识接地的视觉词表配大规模视觉聚类,平衡语义覆盖与编辑任务,训练中的评测反向指导数据迭代。双语标注加可验证的编辑监督,把训练逐步推到原生 1.5K(1536)分辨率。后训练分两步:生成与编辑各自用 rubric、清单式奖励优化,再用噪声感知的 on-policy 蒸馏把两套专门策略收拢回一个模型。

论文口径的成绩单

按论文报告的整体对比,1536 分辨率版在 PRISM-Bench、Qwen-Image-Bench、UnicBench 三项评测的开源模型对比中排名第一。速度上,基于 MeanFlow 少步蒸馏出的 Turbo 版,用 8 个无引导步在单张 NVIDIA H20 上 4.98 秒生成一张 1024×1024 图。论文 16 位作者署名,属 cs.CV 方向。

单卡哲学,以及一个悬念

对比上周 Mistral Large 4 权重落地时「4-bit 仍要约 631.7GB、数据中心多机才跑得动」的旗舰排场,WeLM-Image 反着走:微信的消费级场景等不起集群,模型设计从第一天起就为单卡让路。这也不是微信团队第一次押注开放研究——视觉团队此前已开源过 WeVisOne-VL、WeMM 等模型。悬念在交付:截至发稿,Hugging Face 论文页尚无关联模型仓库,权重未放出,论文先行。对做图像应用的人来说,值得盯的不是跑分,而是「统一基座+单卡部署」这条路线能不能在真实 App 里兑现。