OpenAI 在 Hot Chips 2026 公布了旗下首款自研推理芯片 Jalapeño 的首批实测数据。这是 OpenAI 与 Broadcom 联合研发的通用推理芯片,瞄准的是 AI 算力真正吃紧的「用户响应」一环。
Hot Chips 首测:1.5–1.9× 每瓦,延迟压到 1 秒
基准是 SemiAnalysis 的 InferenceX。Jalapeño 在三个公开模型上跑出稳定领先:在 GPT‑OSS 120B(8k/1k)上,峰值每瓦对比 GB200 高约 1.9×,端到端延迟从 1.80s 降到 1.03s;在 DeepSeek R1 670B(MXFP4)上,峰值每瓦 1.7×,延迟从 5.99s 降到 1.65s;在 Kimi K2.5 1T 上,峰值每瓦 1.5×,延迟从 5.31s 降到 1.56s。从超低延迟对话到高吞吐批处理,Jalapeño 处于 Pareto 前沿。
数字之外,架构选择更值得关注。OpenAI 把芯片定位为「为 LLM 推理而生」,围绕 prefill、decode、通信三段瓶颈做了不同资源配比:prefill 计算重,decode 受限于显存带宽,跨芯片通信又会拖累算力闲置。Jalapeño 用一张统一架构同时吃下三段:把 KV cache 显式放本地,用大域网络把整个请求留在一个连通系统里,降低数据搬移和同步开销。
AI 写内核,九个月从设计到流片
另一个细节,是 AI 在芯片研发自身的角色。OpenAI 用自家模型加速了设计、验证与迭代,从立项到 tapeout 只用了九个月;同时把芯片做得「人和 AI 都能用」——用 Codex + GPT‑Astra 做内核生成,部分 GPT‑OSS attention 与 MoE 模块,AI 生成的内核跑出比人类专家手写版本快 1.5–1.8× 的速度。数字虽只针对「选定模块」而非全模型,但方向意味很强:AI 不只是被推理芯片服务,也在反向成为芯片开发的「编译器」。
时间表与对英伟达的真正含义
硬件负责人 Richard Ho 给的节奏是:Jalapeño 2026 年底「很小规模」上线,真正大规模部署在 2027;Gen 2 深入开发,Gen 3 已经成形。这与英伟达在 Hot Chips 上谈「电力供应瓶颈」的发言在同一周,两家都把瓦数变成头号约束变量。OpenAI 也重申「不会脱离英伟达」:将继续广泛部署英伟达与其他合作伙伴的加速器。Jalapeño 不是替代,而是补位——补的恰恰是英伟达体系内瓦数成本最低的那一段,也即模型上线后被反复调用的那一段。
所以呢:硅片卷完之后,真正卷的是「每瓦」
这件事给出清晰信号——AI 算力的下一阶段不在「谁的 GPU 更大」,而在「谁能在每一瓦电里挤出更多 token」。Agent、长上下文、实时音视频这类对延迟和持续功耗敏感的场景,会最先吃到红利;反过来,继续靠「堆卡换智能」的玩家,边际收益正在肉眼可见地收窄。
参考:Jalapeño first results — OpenAI、OpenAI's Jalapeño chip — TechCrunch