一句話總結:OpenAI 在 Hot Chips 大會上揭露首款自研 AI 晶片「Jalapeño」的推理效能數據,號稱在特定模型上吞吐量超越 NVIDIA GB200/GB300 達 1.9 倍,但這顆晶片不賣、產能自己都不夠用。
核心要點
- Jalapeño 每機櫃搭載 128 顆晶片,完整 Pod 達 2,048 顆,具備 1.7 exaFLOPS 的 4 位元運算能力與 27.5TB 的 HBM4 記憶體,每顆封裝記憶體頻寬達 15.4TBps。
- 在 SemiAnalysis InferenceX 基準測試中,Jalapeño 系統峰值吞吐量多出 1.5 倍至 1.9 倍,端到端延遲比競品平台低 1.7 倍至 3.6 倍,超低延遲情境更達 2.1 倍至 4.1 倍。
- 實測功耗低於額定值:Jalapeño 額定功耗 700W,但測試中維持在 550W 或更低,能效表現值得關注。
- 三大模型實戰驗證:包括 OpenAI 自家 gpt-oss-120b、DeepSeek-R1 以及 Kimi K2.5,官方強調這是一顆「通用型、極具彈性的 AI 加速器」。
- 但 OpenAI 並不會因此放慢跟 NVIDIA 的合作,硬體產品負責人 Richard Ho 說得直接:「我們運算需求太龐大,不可能一次全部滿足。」
- Jalapeño 不外賣——Ho 表示連自用都很吃力,更別說對外銷售。第二代已進入深度開發,第三代也在進行中。
- 今年稍晚以有限數量部署,明年才會大規模導入 OpenAI 資料中心。
Hot Chips 這場半導體盛會向來是晶片廠商的華山論劍,今年 OpenAI 帶著 Jalapeño 登場,擺明不是來陪榜的。1.7 倍的吞吐量領先、最低 1.7 倍的延遲縮短——這些數字如果屬實,代表 OpenAI 在推理端已經有了跟 NVIDIA 叫板的本錢。
但說真的,Jalapeño 的出現不是為了取代 NVIDIA,而是補足 OpenAI 那永遠填不滿的算力黑洞。你想想,ChatGPT 每次回應背後消耗的運算資源有多驚人?OpenAI 自己也承認,光是要滿足內部需求就已經「相當吃力」。
這就帶出一個有趣的問題:一家公司同時是自己晶片的開發者、又是 NVIDIA 的最大客戶之一,這種雙重身分在業界還真少見。不過 Richard Ho 的說法很清楚——Cerebras 也是合作夥伴,OpenAI 的算力策略是「全都要」。
Jalapeño 另一個值得一提的亮點是:這顆晶片有一部分是靠 AI 輔助設計的。用 AI 設計 AI 晶片,這句話聽起來像科幻小說,但 OpenAI 已經在做了。官方宣稱這讓開發流程「比以往更加迅速」,而且二代、三代已經在排隊等著上場。
至於功耗表現,額定 700W、實測 550W 以下的數字,對資料中心營運商來說絕對是利多。電力成本往往是營運最大開銷之一,能省 20% 以上的功耗,長期下來不是小數目。
對一般讀者來說,你可能覺得「這跟我有什麼關係?」——關係可大了。更快的推理速度、更低的延遲,代表你每次跟 ChatGPT 對話會更即時、更流暢。更重要的是,當 OpenAI 不再完全依賴單一晶片供應商,整個 AI 產業的生態會更健康、更競爭,最終受惠的是所有使用者。
今年稍晚 Jalapeño 會先在 OpenAI 資料中心小量部署,明年才會擴大。至於外界關心的「會不會賣給別人」——短期內別想了,連自己都吃不夠,哪來的貨賣你?
從產業面來看,OpenAI 這步棋下得相當精準。不把雞蛋放在同一個籃子裡,同時又能掌握關鍵硬體設計能力。但話說回來,台積電的先進封裝產能才是真正的瓶頸——Jalapeño 就算設計再強,沒有足夠的產能支撐,還是只能慢慢放量。接下來要觀察的是:OpenAI 有沒有可能像 Google 的 TPU 一樣,走出自己的路?還是最終會發現,做晶片比做模型還難?
你現在用的每一個 AI 服務,背後都在打一場算力戰爭。Jalapeño 只是開胃菜,接下來的晶片軍備競賽,只會越來越精彩。
一句話結論
Jalapeño 證明了 OpenAI 不只是模型公司,更有能力打造高效能 AI 硬體,但短期內 NVIDIA 的霸主地位仍難以撼動——這場戰爭才剛開始。
本文改寫整理自公開新聞來源,原始報導由科技新報發布。
常見問題 FAQ
OpenAI Jalapeño 晶片什麼時候正式推出?
今年稍晚會以有限數量部署在 OpenAI 資料中心,明年才會進行廣泛部署。
Jalapeño 會對外銷售給其他公司嗎?
不會。OpenAI 硬體產品負責人明確表示,連自家需求都難以滿足,短期內沒有對外銷售的計畫。
Jalapeño 真的比 NVIDIA GB200 還強嗎?
在 SemiAnalysis InferenceX 基準測試的特定模型中,Jalapeño 峰值吞吐量高出 1.5 至 1.9 倍,延遲更低,但 OpenAI 仍持續導入 NVIDIA 產品,兩者為互補關係。
※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。