NVIDIA 日前正式發表全新客製化高頻寬記憶體架構「NVHBM」，透過將記憶體控制器直接整合進 HBM 堆疊內部，徹底翻轉了傳統 HBM 架構佔用主運算裸片面積的物理限制。根據 NVIDIA 官方公布的技術數據，相較於標準 JEDEC HBM4E 規範，NVHBM 可實現最高 30% 的記憶體頻寬提升、降低 15% 的 HBM 運作功耗，同時為處理器運算裸片釋出高達 25% 的額外可用矽片空間。這項架構革新，等於直接幫昂貴的先進製程運算晶片「找回」了原本被控制器吃掉的寶貴面積。
控制器搬家：從運算裸片移到 HBM 內部，釋放的面積比你想像更驚人
傳統 HBM 架構中，記憶體控制器必須配置在 GPU 或 XPU 這類先進製程運算裸片上，而且往往佔據不小的矽片面積——這些空間原本可以拿來塞更多運算核心或大容量快取。NVHBM 的作法很直接：把控制器從運算裸片搬到 HBM 堆疊內部。這不只是「換位置」而已，背後牽涉到整個記憶體子系統的重新定義。
更關鍵的突破來自客製化實體介面。標準 HBM 的 I/O 佈線偏寬，整體封裝佔用空間自然被撐大；NVHBM 的客製化 PHY 則是將 I/O 面積一口氣縮減達 67%。這不只節省空間，更大幅簡化了中介層的走線佈局難度。NVIDIA 特別強調，這對於需要在大型運算裸片周圍緊密整合多組 HBM 堆疊的旗艦加速處理器來說，是極其關鍵的設計解放。整體封裝佈局中釋放高達 80% 的額外可用矽片空間——這個數字背後代表的，是晶片設計者終於可以擺脫「要頻寬還是要運算核心」的兩難選擇。
從單顆晶片到整個資料中心：15% 功耗節省如何放大成 1.5 萬顆 XPU 的額外部署
功耗降低 15%，聽起來不是什麼震撼的數字。但把場景拉到超大型資料中心，這個節省就完全不是同一回事了。
NVIDIA 給出了一個非常具體的計算：以一座採用單顆功耗 2000W XPU、總用電規模達到 1GW（相當於一座核電機組）的頂級 AI 資料中心為例，單靠 NVHBM 節省下來的電力與散熱餘量，理論上可以額外支援部署高達 15,000 顆 XPU 運算晶片。換句話說，同樣的機房、同樣的電費帳單，你能塞進去的算力硬是多了一截。這對那些每年砸數十億美元在資本支出的雲端巨頭來說，不是錦上添花，是直接影響財報數字的關鍵競爭力。
三星日前在 Hot Chips 2026 大會上已確認，正準備出貨單引腳傳輸速率達 16Gbps 的 HBM4E 晶片。現行 14Gbps 版本透過 2048 個引腳提供每堆疊 3.6TB/s 的頻寬，16Gbps 則將推向 4TB/s。若疊加 NVHBM 宣稱的 30% 額外頻寬提升，單組 NVHBM 堆疊理論頻寬最高可達 5.2TB/s。這個數字已經不只是「夠用」的等級，而是開始讓某些系統瓶頸從記憶體頻寬轉移到別的地方去了。
編輯觀點
從產業面來看，NVHBM 最大的意義不在於 5.2TB/s 這個數字，而在於它證明了記憶體架構創新可以跳脫 JEDEC 標準的框架。NVIDIA 主動開放 NVHBM 架構接受多家記憶體供應商相容性驗證，這是一個很聰明的策略——與其自己壟斷，不如把規格做大，讓整個生態系買單。對 AWS 這類雲端服務商來說，Annapurna Labs 率先導入 NVHBM 不只是技術嘗鮮，更是算力成本結構的優化手段。說穿了，誰能先把單位算力的總體持有成本壓低，誰就能在下一階段的 AI 軍備競賽中掌握定價權。
開放生態與亞馬遜率先入列：NVHBM 不只是 NVIDIA 的獨門武器
NVIDIA 這次的作法跟過去有些不同。他們明確表示 NVHBM 架構將開放接受多家記憶體晶片供應商的相容性驗證，目的是簡化終端客戶與雲端服務商的供應鏈認證流程。這等於對三星、SK 海力士等記憶體大廠招手：你們都可以來做 NVHBM，只要通過驗證就好。
目前亞馬遜旗下的客製化晶片設計部門 Annapurna Labs 已公開確認，將與 NVIDIA 合作推進 NVHBM 技術，未來預計導入 AWS 自研 AI 訓練與推論晶片。這一步值得注意——AWS 是全球最大雲端服務商，他們的導入與否，某種程度上代表了這項技術在真實大規模部署場景中的可行性評估。如果 NVHBM 能在 AWS 的資料中心中驗證效益，其他雲端業者跟進的機率就會大幅提高。
NVHBM 的三大關鍵突破
- 頻寬提升 30%：在 HBM4E 基礎上額外疊加，單堆疊理論頻寬上看 5.2TB/s，大幅緩解 AI 訓練與推論的記憶體瓶頸。
- 運算裸片面積釋放 25%：控制器移至 HBM 內部，讓昂貴的先進製程空間回歸運算核心與快取，直接提升晶片運算密度。
- 系統級功耗節省 15%：單顆晶片節省有限，但放大到 1GW 等級的資料中心，可額外部署多達 1.5 萬顆 XPU，徹底改變算力成本結構。
展望與影響：AI 基礎設施的算力成本戰爭，才剛開始
NVIDIA 這次的 NVHBM 架構，某種程度上是在回應一個越來越尖銳的問題：當 AI 模型規模持續膨脹，記憶體頻寬與功耗牆已經成為比運算核心數量更嚴重的發展瓶頸。傳統 JEDEC 標準的演進速度，顯然已經追不上頂級 AI 晶片對記憶體頻寬與功耗效率的胃口。
從更長遠的角度來看，NVHBM 的推出也意味著 NVIDIA 正在嘗試從「GPU 設計公司」往「完整運算架構定義者」的方向移動。當你把記憶體控制器的規格也掌握在自己手裡時，整個晶片系統的優化空間就不會被標準規範給卡住。這對競爭對手來說，絕對不是好消息。
不過話說回來，NVHBM 的實際表現最終還是要回到量產與成本兩個現實問題。客製化 PHY 雖然在技術上漂亮，但能否在量產良率與成本結構上達到商業化門檻，還有待驗證。三星 HBM4 良率已突破 80% 的消息雖然正面，但 NVHBM 畢竟是客製化規格，供應鏈能否順利量產鋪貨，會是接下來 12 到 18 個月內最需要關注的指標。
對資料中心營運者與 AI 基礎設施規劃者來說，現在該思考的不是「要不要導入 NVHBM」，而是「當這項技術成熟時，我的機房電力和散熱設計有沒有預留足夠的升級彈性」——因為算力密度的競賽只會繼續加速，而散熱與功耗的基礎設施瓶頸，往往比晶片本身更難快速調整。
本文改寫整理自公開新聞來源，原始報導由T客邦發布。
常見問題 FAQ
NVHBM 跟傳統 HBM 最大的差別是什麼？
最大的差別在於記憶體控制器的位置。傳統 HBM 的控制器放在 GPU 或 XPU 的運算裸片上，佔用寶貴的矽片空間；NVHBM 則把控制器移進 HBM 堆疊內部，釋放出最多 25% 的運算裸片面積，同時透過客製化 PHY 縮減 I/O 面積達 67%。
NVHBM 何時會實際量產出貨？
NVIDIA 尚未公布確切的量產時程表。不過三星已確認在 Hot Chips 2026 大會上正準備出貨 16Gbps 的 HBM4E 晶片，而 AWS 旗下的 Annapurna Labs 已率先表態合作導入，推測首批商用產品可能在 2027 年後陸續問世，具體時間仍取決於供應鏈驗證進度。
NVHBM 的 5.2TB/s 頻寬是怎麼算出來的？
這是疊加兩個數字的結果：三星 16Gbps HBM4E 透過 2048 個引腳可達每堆疊 4TB/s 頻寬，再乘上 NVIDIA 宣稱 NVHBM 架構帶來的 30% 額外頻寬提升，理論值即為 5.2TB/s。不過這是理論峰值，實際系統表現會受到封裝、散熱與整體系統設計的影響。
NVHBM 只適用在 AI 資料中心嗎？一般顯示卡用得到嗎？
目前 NVHBM 的設計目標明顯鎖定超大規模 AI 加速器與資料中心架構，而非消費級顯示卡。不過歷史上高階資料中心技術往往會在數年後逐步下放至高階消費產品，只是時間點與成本結構仍是未知數。短期內一般使用者還不需要煩惱這個問題。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。