**LLM推理成本的新解法：Prompt Caching如何实现90%token费用减免** 调用大模型API时，每次请求都要重复发送相同的系统提示词和上下文——这是一种隐性浪费。Prompt Caching（上下文缓存）正在改变这一现状。 技术原理并不复杂。LLM推理分为两个阶段：Pre-fill（处理完整提示词生成首个token，计算密集型）和Decoding（自回归逐token生成，内存带宽密集型）。当多个请求共享相同的系统提示词或基础上下文时，将这部分内容缓存下来复用，就能省去重复计算的开销。 根据OpenAI官方文档，Prompt Caching可实现最高80%的延迟降低和90%的输入token成本削减。Anthropic、Google Gemini等主流厂商都已支持这一特性，关键在于如何设计提示词结构以最大化缓存命中率。 但缓存策略并非万能。共享的系统前缀必须出现在提示词的固定位置，缓存失效后的冷启动延迟反而更高。开发者需要在缓存命中率与提示词灵活性之间找到平衡点。 对于需要频繁调用大模型的AI应用——无论是RAG系统、代码生成工具还是多轮对话Agent——Prompt Caching都是值得关注的基础设施级优化。在模型能力差距逐渐收窄的当下，推理效率正在成为新的竞争维度。