AMD 吃下 Taalas:把模型权重永久刻进芯片的"硬推理"赌局
2026 年 8 月 6 日美股收盘后,AMD(纳斯达克:AMD)宣布已与多伦多 AI 芯片初创公司 Taalas 达成最终收购协议。Taalas 成立于 2023 年,做的是一种极端的"专用推理芯片":把特定 AI 模型的权重永久烧进晶体管,跑 inference 时不再从 HBM/DRAM 里读权重,从根本上绕开 LLM 推理的内存墙。交易预计 2026 年第四季度交割,需通过监管审批,具体金额未披露 (来源:AMD 投资者关系新闻稿)。
为什么 GPU 不是 inference 的最优解
LLM 在生成 token 时是自回归的——每个 token 都要把整张权重表从显存搬到计算单元。对 700 亿参数的 16-bit 模型来说,单步前向约需读取 140 GB 数据。即使是 H100 配的 HBM 3.35 TB/s 峰值带宽,光读权重就要大约 42 毫秒,这是纯由内存速度决定的硬地板,再翻倍的 FLOPS 也压不下去。AMD 自家 7 月量产的 Helios 机架用 HBM4 把 MI455X 的带宽推到 19.6 TB/s,把这条地板往下推,但仍是 DRAM,每个 token 仍要重读一遍 (来源:TechTimes — AMD Buys Taalas to Hardwire AI Models Into Silicon)。
Taalas 的解法:把权重做成电路
Taalas 把方案叫 Hard Coded Inference。第一代芯片 HC1 是 815 mm² 的大尺寸 die,TSMC 6nm 工艺,集成了约 530 亿晶体管,把 Meta 的 Llama 3.1 8B 整张权重表烧进 mask-ROM 区域。CEO Ljubisa Bajic 在 The Next Platform 的采访中说过核心创新:在单个晶体管内完成 4-bit 权重的存储与对应乘法运算——数存的地方就是算的地方,DRAM 不再介入前向计算。一小块 SRAM 用来放 KV cache、LoRA 适配器和上下文窗口,这一部分可以运行时变更 (来源:explainx.ai — AMD Buys Taalas: 16,960 Tok/Sec Chip Explained)。
Taalas 自报的 2 月份数据是:HC1 跑 Llama 3.1 8B 时每秒约 17,000 tokens,比英伟达 GPU 快约 48 倍,比 Cerebras 加速器快约 8.5 倍,功耗约 200–250 W,风冷即可。这些数字是 Taalas 自己的口径,The Register 与 SiliconANGLE 的复述与之一致,但都属于厂商宣称、未经独立审计。Solidot 上也有 HN 网友实测 chatjimmy.ai 真实硬件跑出 14,000–17,000 tokens/秒的范围,可以作为外部一致性参照 (来源:Solidot 转载 The Register 报道)。
AMD 的接入方式:disaggregated prefill/decode
AMD 不想用 Taalas 直接替代 Instinct GPU,而是按推理阶段拆开用——prefill(处理 prompt,计算密集)交给 Instinct GPU,decode(逐 token 生成,内存带宽密集)交给 Taalas。这种拆分对应 Helios 机架的整体架构,与此前 AMD 跟 Anthropic 谈的 2 GW MI450 部署属于同一思路,把硬件按瓶颈类型分别匹配到对应的工作负载上 (来源:AMD 新闻稿)。
AMD AI 业务 SVP Vamsi Boppana 把这桩收购的定位说得很直白:"AMD 正在构建全栈 AI 平台,让客户能为每种 AI 工作负载灵活选择最合适的算力。"——把"灵活"放在最前面,等同于承认 GPU 不是唯一答案 (来源:同上新闻稿)。
为什么不是"GPU killer"
把模型权重刻进硅里有三个明显代价:
- 模型锁定:权重一旦刻进去,这块 die 就只能跑那个模型。改一个 base 模型要重新流片——Taalas 自称靠结构化 ASIC 只换顶层 2 层金属可以把周期压到约 2 个月,但这仍是硬件级变更,不是 GPU 那种"下载新 checkpoint 就能跑"的灵活度 (来源:TechTimes — AMD Buys Taalas)。
- 量化精度低:HC1 用的是 Taalas 自研 3-bit 格式,跟 GPU 上 16/8-bit 推理相比在复杂任务上会有可见质量损失。下一代 HC2(预计 2026 年底到 2027 年初)换 MXFP4 4-bit 浮点,目标单芯片 200 亿参数。
- 可修补性差:如果模型刻进去之后被曝出越狱或 prompt injection 漏洞,没法用软件补丁修,只能重新流片。
行业脉络:Nvidia 早就动过同样的心思
这不是 AMD 第一次被推上这条路。2025 年 12 月,英伟达据报以约 200 亿美元拿下 Groq 的技术授权,把 Groq 3 LPU 在 2026 年 3 月 GTC 上正式商用化。Groq LPU 用片上大块 SRAM 缩短存算距离但保留可编程性,Taalas 直接把距离抹零。两条路技术不同,但都在朝"专用推理硅"挤——英伟达在 2025 年底、AMD 在 2026 年中,不到一年里两个 GPU 巨头同时对专用 inference 押注,是 GPU 通用性不足以覆盖部署阶段的明确信号 (来源:TechTimes 同篇报道)。
我的判断:这是 2027 年 inference 成本曲线的一次试压
收购落地不是终点。HC1 还是技术 demo,工程化问题(大 die 良率、2 个月 tape-out 的承诺能否兑现、HC2 多芯片互联是否真能保留单 die 的每瓦性能)都没在量产规模上验证。AMD 9 个月内已经连下三笔 inference 棋(MK1 inference 软件、Mext 内存优化、Taalas 硬编码硅),打法很清楚:GPU 守住训练和实验侧的灵活性,专用硅去拿下生产部署侧的 token 成本。
如果 HC2 在 2027 年初顺利拿出、并且 tape-out 周期真的压在两个月,模型团队就能把"先在 Instinct 上验证、生产稳定的版本再烧到 Taalas 上"这条流水线跑起来——这对 test-time scaling(让模型生成更多推理 token 提升质量)的成本结构会是显著利好。反过来,如果 2 个月 tape-out 的承诺经不起量产考验,那 Taalas 的故事就只是一次漂亮的 demo,AMD 这笔钱就当买了张 inference 路线入场券。
所以这件事的真正看点不是"AMD 买了什么",而是2027 年 Q1 之前能不能拿出一个跑在 Helios 里、能服务真实生产负载的 Taalas 加速卡。在那之前,业界共识仍会停在"GPU + 内存墙"框架里,不会有什么根本动摇。