单张4090从零训文生图:论文自报160卡时55美元
西班牙四人团队发布 Asuka-FM: 206M 双流 DiT 在单张 RTX 4090 上从零预训练, 论文自报约 160 GPU 小时, 成本不到 55 美元. 论文实测 GenEval 0.609 (512px, 无基准微调), 用内存 latent 缓存, SPRINT…
文生图已是红海,战场正转向编辑与可控性:FLUX.2/3 用开源和量化把生图搬进消费级显卡,Qwen-Image、Seedream 等国产模型紧咬不放,GPT Image 2 则把推理能力带进像素。本专题追踪图像生成与编辑模型的发布、架构演进、加速量化与商业化数据,看「好图」如何变成「可用的图」。
西班牙四人团队发布 Asuka-FM: 206M 双流 DiT 在单张 RTX 4090 上从零预训练, 论文自报约 160 GPU 小时, 成本不到 55 美元. 论文实测 GenEval 0.609 (512px, 无基准微调), 用内存 latent 缓存, SPRINT…
Carnegie Mellon与Rice的HiT给像素空间扩散Transformer加了可学习的token分组层级:相关patch压成组token,组数随图像与扩散步自适应。ImageNet 256拿到1.48…
两人小团队 Linum 用 8,415 个 H100 小时、21,038 美元训练出 2.18B 参数的像素空间文生图模型 P-JiT,权重与代码开源,并完整公开训练配方:两阶段共 6.6…
腾讯微信团队发布统一图像基座 WeLM-Image:理解、文生图、编辑、多参考合成一体,MoT+MoE,31.7B 存储、约 5.4B 激活,按消费级单卡设计。论文口径三项开源评测第一,Turbo 单张 H20 4.98 秒出 1024 图,权重未放。
华南师大、CMU 等机构联合 KlingAI Research 发布 LongBanana 基准:90 个多参考图像合成任务,每题约 32 张参考图、20 项约束,共 4,670 条专家检查项,已标注被 NeurIPS 2026 接收。RPR…
FrameForge把统一图生图塞进冻结的视频大模型:时序专家按输入挑虚拟帧距,推理潜变量补上条件到目标的变换,一个LoRA一并通吃主体生成、边缘图生图与指令编辑。论文自评编辑总分 6.12 反超任务专属基线,动作类编辑 6.84 超过表中闭源的 Gemini 2.5,登上…
IntReal 用 10 万条真实图文交错样本加七个维度评测统一多模态模型。闭源 NanoBanana2 文本逻辑性 97.49,远超开源 Emu3.5 的 75.17,但图像多样性 83.56、上下文一致性 76.70 反低于开源最优值。SFT 涨文本 29.04%…
自回归图像模型因训练时锁死栅格扫描顺序,天生无法补图扩图。这篇 NeurIPS 论文用面向未来的位置编码加顺序课程,把预训练模型改造成任意顺序生成器:适配成本远低于从头重训,并保住 KV 缓存与 vLLM 部署。补图与扩图成绩都超过 MaskGIT,论文也坦承类条件指标有所回落。
像素空间生成模型 SpecSlot 把图像词元划分方式改写成预算分配:锚点密度与频谱细分分开算,每个锚点只有最低频那一槽进入全局注意力,其余槽都留在锚点内部做局部交互。论文自测在 ImageNet-512 上 FID 9.14,比同算力对照低 2.84 分且算力更省,文生图…
蚂蚁在 arXiv 放出 IDM:在 DMD 内部打分之外额外匹配生成器 EMA 特征的均值与标准差,免去外部特征编码器。论文报告在 Z-Image-Turbo 6B 上 2 NFE 时 LongText-CN 达 94.25%、LongText-EN 达…
阿里把文生图的提示词改写单独立成一个可下载模型,Qwen-Image-PE 的 9B 权重已落在 Hugging Face。论文自测里 9B 综合分 60.28 压过 GPT-5.5 的 60.10,397B 到…
现有图像编辑模型改完只交付一张压平的图,想再动局部只能重生成。LayerEditor 把指令式编辑和 RGBA 图层生成统一进同一 token 序列,配套 10 万配对样本与两个专用基准,在保住编辑保真度的同时产出可拆解复用的图层,登上 HF Daily Papers 榜单前列。
Bria 开源图像模型 Fibo 2.0-dev,首次把图像编辑与文生图统一进单一模型;官方引 Artificial Analysis 10 月 20 日榜单,称其在开源权重模型中图像编辑第一、文生图第二。基于结构化 JSON 描述与全授权数据训练,主打可控编辑,另有蒸馏版…
商汤等团队提出 MT Forcing 训练范式,用单轮分布匹配蒸馏加教师强制引导,压制自回归扩散在多轮图像编辑中的误差累积。在 MTEdit-Bench 上,八轮编辑的指令遵循从 8.47 提到 9.66,内容一致性从 7.09 提到 8.40,像素漂移从 6.34 降到…
美团实习期间提出 WorldCast 基准:320 案例专考图像视频模型多步世界状态预测,12 模型评测,GPT-Image-2.5 得 72.8,Nano Banana Pro 42.8,最强开源 SenseNova-U1 仅 20.1;Agent 循环把最高分推到…
OpenMOSS 放出 5B 生图基座 MOSS-Image-Base 与 SFT 版,Apache 2.0。模型原生支持中英双语提示词与 4K token 长输入,主打图内文字渲染,可用 JSON layout 精确控制文字与物体位置;官方未公布…
Black Forest Labs 开放 5.6B 生图模型 FLUX 3 Image Klein 权重,支持文生图、编辑与最多 10 张参考图组合,继承 4K 生成与边界框控制。INT8 版最低 8GB 显存可跑,蒸馏版 RTX 5090 约 4 秒出 1MP…
微软联合上海交大等高校发布掩码式擦除基础模型LensErase:一图一掩码,无需文字提示即可抹掉对象、文字、水印及其阴影反射。模型基于文生图底座Lens,通过Mask-Aware…
阿里千问开源 Qwen-Image-2.1-Turbo:同为 7B 架构,40 步去噪压到 8 步,文生图与修图都支持,2K 输出、透明背景全保留。同日 API 上线,Turbo 每张 0.1 元。权重走 Qwen Research…
Google 10 月 6 日将图像模型 Nano Banana 2.1 推到 GA,底座为 Gemini 3.6 Flash,价格较上代砍半:1K 图 3.36 美分、4K 7.56 美分。基准多角色一致性 1106 超过 Pro,但实测出图 Pro 仍占优。旧模型 10 月…
Black Forest Labs 发布 FLUX 3 家族图像组件 FLUX 3 Image:画布按 0-1000 网格,元素用边界框声明位置与内容,模型逐框生成;编辑只动目标框,其余像素不变。布局提示为全局说明加 JSON 元素表,可交由 LLM 规划。支持 10…
9 月 28 日 arXiv 论文 MaLiang-Harness 定义「程序-视觉」鸿沟:模型写的画图代码能跑通,构图、外观、运动却可能全错。框架以生成、检查、修订闭环推进,GPT-6-Astra 生成成功率 100%,96.0% 图像任务全指标达标,视频仅…
SVG 生成没有标准答案,CLIP 等标量指标用在矢量内容上会失真,当 RL 奖励还会诱发作弊。蚂蚁团队提出 RULER:每条指令转成六项评分细则,判分模型逐项打分加权成 GRPO 奖励,不需要配对真值和人工偏好。MMSVG 两基准评分从 0.432/0.395 升到…
阿里千问 9 月 20 日开源 Qwen-Image-2.1 图像模型,视觉生成仅 7B 参数,文生图与图像编辑合并为同一套权重,原生支持透明图像生成与编辑,最多支持 10 张参考图输入,官方基准反超 Nano Banana 2.0 等闭源对手。
OpenAI 周二发布图像模型 ChatGPT Images 2.5,生成延迟较 2.0 版最多降 50%,多轮编辑一致性更强;新增 Sketch 涂鸦功能,输入 @Sketch 画草图即可当参考图出图,配套图上圈注评论与 Templates 模板。已面向…
arXiv 2609.04034 提出用编码智能体替代扩散模型直出设计图:VLM 负责规划与审美判断,图像模型只按需生成独立素材,交付带真实文字、语义图层的 HTML,可拖拽编辑、可导出 PPT,Apache 2.0 开源仓库已近 500 星。
蚂蚁 inclusionAI 开源 6B 参数的统一图像生成与编辑模型 LLaDA-Image:单 checkpoint 同时支持文生图与指令编辑,Turbo 版蒸馏到 4 步出图,官方自报 Qwen-Image-Bench 英文 53.53、中文 53.38;训练代码暂未放出。
安全研究员逆向 Windows 画图与照片应用发现:Copilot+ PC 上本地跑 Stable Diffusion 生成的图像,提示词仍会送到微软服务器审核,服务器返回的唯一 GUID 被作为隐形水印写进像素,并与 C2PA 清单中的软绑定值一致。
腾讯混元团队发布 WithEveryone 群像生成框架:每个参考身份注入寻址 token,先规划身份-布局再渲染,用布局接地 ID 损失监督目标人脸。人脸相似度从 GPT-Image-2 的 0.462 提至 0.499,伪影从 0.169 降至…
INFORMS 发布的实地研究显示,一家户外活动公司的真实 Instagram 投放中,active-learning 引擎生成的 AI 广告在点击率上胜过人类设计师的 campaign,18 个月后无重训复测仍以 3.38% 对 3.24% 领先,且方差更低。
图像生成服务商 NovelAI 发布 Diffusion V5:规模超 V4.5 两倍,训练耗 26.8 万 B200 GPU 小时,VAE 从 16 通道升级到 32 通道。新模型强化自然语言与日语提示,测试中 22 角色同屏,单次生成多面板漫画页,原生支持 alpha…
xAI 在 8 月 7 日上线 Grok Imagine Image 2.0,作为 grok.com/imagine、iOS、Android 的 Quality Mode 全面开放,API 名…
阿里巴巴千问图像生成模型 Qwen-Image-3.0 正式上线千问 AI 平台,旗舰版 Pro 与标准版 Standard 同步开放 API,文生图 0.18 元/张起步,采用 1k/2k 分档计费;海外用户可通过 Qwen Cloud 接入。这是…
腾讯混元 HunyuanImage-3.0 已全面开源:用统一自回归框架同时做多模态理解和图像生成,包含 64 个专家、80B 总参、13B 单 token 激活,是迄今规模最大的开源图像生成 MoE 模型;arXiv 同步发布 Technical Report(v3 修订于…
微软亚洲研究院 / 微软团队今天放出 Mage-Flow,一个 4B 规模的紧凑文生图与指令编辑一体化栈,代码与权重全部开源(github.com/microsoft/Mage)。 核心思路很反直觉:不靠堆参数,靠 tokenizer + backbone +…
7月21日,阿里千问正式推出 Qwen-Image 系列第三代图像生成基础模型 Qwen-Image-3.0。如果说 1.0 关键词是「准」、2.0 是「准、多、齐、美、真」,3.0…
京东(jd-opensource)正式开源 JoyAI-Image——一款真正意义上的统一多模态基础模型。它用一个 8B 多模态大语言模型(MLLM)做理解中枢,搭配 16B 多模态扩散…
Reve 实验室 7 月 9 日发布 Reve 2.1 文生图模型,距离 2.0 仅一个月即完成关键迭代。新模型在 Arena 文本到图像榜以 1306 Elo 重夺全球第二,单项编辑榜位列第八,并继续保持"最高 4K 独立模型"的头衔。 技术上看,Reve 2.1…
字节 Seed × 港大 × 北大在 arXiv 2607.11886 提出 SpectraReward,把「读回 prompt」作为 T2I RL 的零样本奖励;Self-SpectraReward 让 BAGEL 自我奖励,GenEval 89.5 反超…
北大 + 腾讯混元联合团队开源 GEAR(Guided End-to-End AutoRegression for Image Synthesis),通过 dual read-out 架构让 VQ tokenizer 和 AR 生成器真正端到端联训,在 ImageNet 上把…
扩散模型后训练一直被显存和吞吐拖住后腿——12B 级别的 FLUX.1-dev 想要做定制化或强化学习微调,成本高得吓人。MIT 韩松领衔的 FourTune (arXiv:2607.05711) 给出干脆解法:端到端把权重、激活、梯度全部压到 4-bit…
2026 年 7 月 7 日,Meta 在官方 Newsroom 正式推出 Muse Image——这是 Meta 超级智能实验室(MSL)的首个原生图像生成模型,已集成进 Meta AI 助手,并为 Instagram Stories 带来 30 余种 AI…
EPFL 团队 Lan Feng、Wuyang Li 和 Alexandre Alahi 在 7 月 2 日放出的 arXiv 2607.02375v1,让一年前被宣判“无法训练生成器”的经典 MMD 目标函数,在 ImageNet 单步图像生成上重夺王座。 这篇…
少步 Flow-Map 生成器——如一致性模型、sCM、MeanFlow——过去两年一直是图像扩散模型里最快的一档:它们直接学习噪声到数据的「长途运输映射」,把采样步数压到个位数。但确定性正是它们的阿喀琉斯之踵:GRPO、PPO 这类需要随机轨迹和良好似然比的在线 RL…
北航郑星宇等人在 arXiv 2607.01642 提出 MrFlow —— 一种完全 training-free 的多分辨率扩散加速方案。FLUX.1-dev、Qwen-Image 把文生图质量推到开源 SOTA,但每张图动辄要跑几十步…
## Sourceful Riverflow 2.5:把评分函数塞进图像生成,让什么是好图变成可编程的 2026 年 6 月,曼彻斯特的 Sourceful 推出 Riverflow 2.5 Pro,主打 reasoning image generation。在…
Qwen 团队发布 Qwen-Image-2.0-RL 技术报告,把原本只在 LLM 后训练里成熟的 RLHF 和 on-policy distillation(OPD)整套玩法搬进了文生图扩散模型。这套流水线的核心是两条腿走路:第一,用 task-specific 复合…
把文本生成图像(T2I)、局部编辑、全局编辑塞进同一个 flow-matching 模型一直是业界难题:编辑能力越强,T2I 越糊;局部编辑和全局编辑也会互相干扰。 字节跳动 Seed 团队联合 NUS 提出的 **DanceOPD**(On-Policy…
Boogu 团队在 Hugging Face 开源 Boogu-Image-0.1 全家桶:10B 参数的 Base / Edit / Turbo 三件套,覆盖文生图、图编辑和中英文字渲染;Turbo 走 Decoupled DMD 把推理步数砍到 4 步、CFG 降到…
Krea 把 Krea 2 模型家族以开源权重形式同步释出两个变体:Krea 2 Raw(基础 checkpoint)与 Krea 2 Turbo(蒸馏 + 后训练版)。架构为 12B 参数 Diffusion Transformer,Turbo 在 8…
字节跳动 6 月 23 日在 FORCE 夏季原动力大会把「豆包 2.1 Pro + Seedance 2.5 + Seedream 5.0」三件套摆到了同一张桌上。Seedream 5.0 是这场发布里最低调、但工业上最关键的一块拼图——它把字节的多模态生成能力,从「能聊 +…
2026 年 6 月 18 日,阿里通义千问团队正式推出 Qwen-Image-2.0,距离初代 Qwen-Image(20B MMDiT)开源不到一年。这一代最引人注目的反差,是把参数从 20B 砍到 7B 的同时,反而在 AI Arena…
华中科技大学等团队发表的 Moebius 框架以仅 0.22B(FLUX.1-Fill-Dev 11.9B 的 2%)的参数量,在六个自然与人像 inpainting 基准上追平甚至超越 10B 工业级通用模型,并将推理速度提升 15 倍以上。它用 Local-λ Mix…
InterleaveThinker(arXiv 2606.13679)提出首个多 agent 流水线,把任何现有图像生成器(FLUX.2、SD 系等)变成能输出「文本+图像+文本」交错序列的模型。框架含 Planner agent 拆解图文序列和 Critic agent…
Black Forest Labs 6 月 7 日正式发布 FLUX.2 [klein] 模型家族,定位为「迄今最快的图像模型」。它以 4B 与 9B 双档布局,每个档位都同时提供「蒸馏版」与「未蒸馏 Base 版」两条路径:9B 旗舰内置 8B Qwen3 文本编码器、采用…
图像质量评估(IQA)一直是 VLM 的「感知短板」——主流做法是拉一堆人给图片打 MOS 分,但人工标注的代价、跨域一致性、主观偏差,都让这个赛道很难跑出真正可扩展的方案。字节跳动团队把 ICLR 2026 上发表的工作 EvoQuality 推到 arXiv…
6 月3 日,硅谷初创公司 Reve 发布第二代图像生成模型 **Reve2.0**,上线当日冲上 Image Arena文本到图像榜第二,仅次于 OpenAI gpt-image-2,把 Google Nano Banana2 与 Microsoft…
Ideogram 4.0 是该公司 6 月 3 日发布的首款开源权重模型:9.3B 参数、34 层 single-stream Diffusion Transformer,从零训练,原生 2K 输出(最高 2048 像素,宽高比可达 6:1),同步提供 fp8 与 nf4…
微软在Build 2026上推出的MAI-Image-2.5图像生成模型,首日就冲到Arena图像编辑榜第二,把Nano Banana 2压在身后。它是微软七款自研MAI模型里唯一面向视觉的成员,定位直接是"生产级图像工作流"。…
6月1日,网易有道宣布其开源产品 LobsterAI(龙虾)正式上线图片生成与视频生成能力,一次性接入 Seedream、Seedance、HappyHorse、MiniMax-Hailuo…
Black Forest Labs 于 2026 年 5 月初发布了 FLUX.2 图像生成模型系列,拥有 320 亿参数,可在 ComfyUI 直接运行。然而,90GB VRAM 的需求让消费级 GPU 完全无法承载。NVIDIA 迅速介入,联合 Black Forest…
4 月 30 日,Midjourney 正式发布 V8.1 版本,这是 V8 系列自 3 月上线以来的第三次迭代。相比 V8.0,V8.1 在渲染速度和成本控制上实现了质的飞跃:HD 模式提速 3 倍、成本降低 3 倍,并被设为默认模式;标准分辨率模式也提升了 50%…
Black Forest Labs 正式发布 FLUX.2 图像生成模型家族。与以往「一个模型打天下」的思路不同,FLUX.2 带来了 Pro、Flex、Dev、Klein 四个变体,分别面向质量优先、商用可控、开源本地化、轻量实时四种不同场景需求。…
最新数据显示,图像生成模型已成为AI移动应用增长的核心驱动力。据Appfigures报告,图像模型更新带来的下载量增幅是传统聊天模型升级的6.5倍,这一趋势在头部应用中表现尤为突出。Gemini在去年8月推出图像模型后,28天内新增下载超2200万次,环比激增4倍以上。ChatG…
4月21日,OpenAI 正式发布 GPT Image 2(ChatGPT Images 2.0),这是 DALL-E 3 的继任者,也是业界首款真正将 O 系列推理能力融入图像生成的模型。与传统扩散模型不同,GPT Image 2…
近日,同济大学等机构的研究者在arXiv发表论文,提出了一种名为DiT-ST的创新框架,通过分文本条件(Split-Text Conditioning)显著提升了扩散Transformer在文本到图像生成中的表现。 **技术突破点**:…
阿里通义实验室发布 Wan2.7-Image,一个统一了图像生成与编辑的全链路模型。与以往文生图和图像编辑分属不同模型的做法不同,Wan2.7-Image 将文生图、图生图、指令编辑、交互式编辑整合在同一个架构中,用户无需在多个工具间切换。…