7 月 2 日挂上 arXiv 的 Gemma 4 技术报告,Gemma Team 300 余位作者合力完成。整套体系覆盖 2.3B 到 31B 共五档,**首次在主版本里同时给出 dense 与 MoE 两条路线**:小尺寸守「手机可跑」,大尺寸用 MoE 拉容量、压激活。 12B 最值得展开。Gemma 4 把视觉与音频编码器彻底拿掉,改成 encoder-free 结构,直接吞 raw 图像 patch 与音频波形,把多模态融合从「外挂器官」变成「原生器官」。这与 Qwen2.5-Omni、LLaVA 路线截然不同;代价是训练稳定性更难,Google 把它放在 12B 而非旗舰尺寸,先把成本压下来再往上推。 Thinking mode 落地,先思考 token 再回答,做成可开关能力。配合长上下文优化,Gemma 4 在 STEM、多模态、长上下文 benchmark 上明显跃升,在 human-rated 任务上对位更大的开源前沿模型。 把 Google 在 Gemini 闭源体系里验证过的多模态、长上下文与推理范式,**用开源可复现的方式重新写一遍**——这才是这份报告真正的分量。