LLM推理评价新范式:「焦耳/Token」能否取代延迟和吞吐量?

当业界还在用延迟和吞吐量评价LLM推理系统时,香港科技大学(广州)与中科院等机构的研究者提出了一个新视角:LLM推理的本质是能量转Token的生产过程,「焦耳/Token」才是更合理的评价维度。 当前推理论文仍围绕准确率与延迟展开,但无法回答根本问题:在固定质量目标下,一单位电力能产出多少Token?研究者提出「Token Production Function」——Token产出同时受计算量与能量消耗双重约束。 当前LLM提供商API价格差异超过一个数量级,这背后反映的不仅是边际成本,更是物理约束的转变:生成式AI的绑定约束正从理论峰值算力移向数据中心的实际供电与散热能力。 在这套框架下,KV Cache压缩、稀疏注意力、量化、投机解码——都是降低焦耳/Token的能量杠杆。研究者因此呼吁推理论文应同时报告焦耳/Token指标。 这与近期技术趋势完全吻合:从Google TurboQuant内存压缩到各类投机解码方案,底层逻辑都是让每焦耳产出更多、更优质的Token。随着AI数据中心能耗持续攀升,能量效率优化将成为决定算力经济性的核心因素。