谷歌把多模态嵌入模型 EmbeddingGemma 2 直接开源放上了 Hugging Face:740M 参数、Apache 2.0 协议,目标是让检索这类「脏活」在手机本地完成,而不是把数据传上云端做向量化。
一个模型,五个模态
EmbeddingGemma 2 基于 Gemma 4 架构,把文本、代码、图像、音频、视频映射进同一个嵌入空间。官方博客给出的用例很具体:用文字从语音备忘录里找出某段视频剪辑,或在几小时录音里做文本检索,全部由这一个模型在本地完成。它的上一代 EmbeddingGemma 是纯文本模型,官方称累计下载已超过 2000 万次,主要用在端侧搜索和隐私优先的 RAG 管线里——这一代补上的正是多模态这块拼图。
模块化裁剪:按需付内存
这个模型最务实的设计是可拆:纯文本负载最小只要 270M 参数,视觉编码器 170M、音频编码器 300M 都是可选模块。借助 Matryoshka 表示学习(MRL),输出向量能从 768 维动态截断到 512、256 甚至 128 维,官方称本地向量库存储最多可省 6 倍。上下文窗口 8K token,是上一代的 4 倍,可容纳约 5.5 分钟音频、29 张图片或 58 帧视频。量化后在 Google Pixel 11 Pro 上,纯文本权重约占 191MB 活动内存,完整多模态约 567MB——单机可跑。
跑分与生态
官方数据显示,MTEB Code 得分从上一代的 68.76 提到 78.68,提升 9.92 分;官方称其在 sub-1B 多模态嵌入模型中同级领先,部分任务上超过两倍于其规模的专业模型——需要说明,这些均为厂商自报数字。生态比较完整:权重上了 Hugging Face 和 Kaggle,llama.cpp、Ollama、MLX、vLLM、SGLang 均有官方支持。它还与 Gemma 4 共享文本 tokenizer 和音频编码器,两模型同跑时总内存占用更低,「Gemma 4 生成 + EmbeddingGemma 2 检索」的端侧 RAG 组合意图非常明显。
所以呢
端侧 AI 的叙事里,生成模型一直是主角,但真正难啃的往往是检索:没有本地嵌入,所谓隐私优先的 RAG 就得把数据送上云端做向量化。谷歌这次把这块拼图补上了,而且用 Apache 2.0 而非受限协议,对端侧开发者是真金白银的让利。值得观察的是,其他端侧生态会不会跟进推出对标的开源嵌入模型——检索这一层,正在成为端侧 AI 竞争的新前沿。
(来源:Google 官方博客)