最新 8 月 25 日消息，OpenAI 今天（25 日）晚间在 Hot Chips 大会上公布了全新推理系统 Jalapeño 的更多细节，并首次披露基准测试成绩。在 SemiAnalysis 的 InferenceX 测试中，Jalapeño 无论是单用户 token 处理量，还是每千瓦吞吐量，都超过了目前市面上的顶尖推理处理器。

OpenAI 硬件负责人理查德 · 何在媒体电话会上表示：“测试结果最重要的一点，是 Jalapeño 相比目前最先进的产品实现了非常显著的性能提升。它可以用相同的电力处理更多 AI 工作负载，同时更快给出响应。Jalapeño 既适合高效服务大量用户，也能保持很低的延迟。”

Jalapeño 由 OpenAI 与博通共同开发，OpenAI 自有模型也参与了研发。OpenAI 希望把 Jalapeño 发展成一个能够延续多代的技术平台，使 AI 产品、模型、芯片和内存从一开始就协同设计。

这款芯片主要负责 AI 推理，也就是让已经训练好的 AI 模型真正运行起来，完成任务或驱动 AI 智能体。

OpenAI 使用 InferenceX 平台测试 Jalapeño 的推理性能，并与英伟达 GB200 和 GB300 超级芯片系统进行比较。OpenAI 称，在 GPT-OSS 120B、DeepSeek R1 和 Kimi K2.5 1T 三个模型上，Jalapeño 每瓦能够完成的 AI 工作量是对比系统的 1.5 至 1.9 倍，端到端延迟则约为对比系统的 28% 至 59%。

全栈协同开发也让 OpenAI 能够直接优化推理过程中最容易拖慢速度的环节。Jalapeño 重点降低预填充和通信阶段的延迟，而这两个环节在 OpenAI 看来往往是推理性能的主要瓶颈。

OpenAI 在公布测试结果的博客文章中提到，Jalapeño 从设计之初就尽量减少数据搬运和通信延迟。生成响应时使用的 KV 缓存等模型状态可以明确存放并保留在本地，系统再根据不同推理阶段，调配合适的计算、内存和网络资源。

据最新了解，OpenAI 计划在今年年底前先“小规模”部署 Jalapeño，2027 年再逐步扩大部署量，但没有公布明年具体会投入多少芯片。

参考

• OpenAI 官方稿件：Jalapeño’s first results show industry-leading speed and efficiency in AI inference