事件總覽：從Hot Chips大會上的一聲驚雷開始，美國新創d-Matrix帶著號稱頻寬密度超越輝達次世代晶片二十倍的Raptor推論晶片闖入舞台，直接挑戰AI運算世界「訓練靠NV、推論看誰」的既有秩序。
這不是又一家新創在紙上談兵。d-Matrix在今年的Hot Chips大會上端出的Raptor晶片，從數字來看確實讓人心頭一緊——他們宣稱頻寬密度比輝達尚未發表的Rubin架構高出二十倍。別急著皺眉頭，這「二十倍」的背後，靠的不是魔法，而是他們對記憶體瓶頸開的一記精準手術刀。
先回頭看一下現在AI晶片面臨的痛點。大型語言模型越長越大，推論階段最耗資源的往往不是計算本身，而是記憶體頻寬。輝達的HBM固然快，但周邊I/O的限制和功耗就像高速公路的收費站，車速再快也得排隊繳費。d-Matrix的解法很直接：把邏輯晶片直接堆疊在最多四層的3D DRAM上方，用面對面接合技術縮短電子傳輸路徑，把功耗壓到傳統HBM的十三分之一左右。
說穿了，這顆Raptor單卡32GB的容量，定位就是卡在SRAM和HBM之間的那塊「剛剛好」的甜蜜點。你要拿它來訓練模型？恐怕不是強項。但如果是讓AI模型即時生成回答、處理長上下文視窗，Raptor設計的初衷就是來解決這種高吞吐量的推論場景。
📅 2024年8月：Hot Chips大會發表 Raptor
d-Matrix在Hot Chips大會上正式公布Raptor晶片規格，單卡32GB 3D DRAM，目標是建構最高七十二張卡的機櫃級叢集，總記憶體頻寬上看每秒拍位元等級。現場展示中，GLM-5.2模型上每位使用者每秒可處理超過兩千個tokens。這個數字對企業級AI應用來說，意味著更低的延遲、更高的承載量。不過話說回來，展示數據和實際部署往往有段距離，這點我們得先放在心裡。
📅 2024年同期：輝達推NVLink Fusion反制
面對來勢洶洶的新創挑戰，輝達也沒閒著。差不多在同一時間點，他們對外揭露了NVLink Fusion的戰略布局，打算把自家NVLink高速互連技術授權給第三方客製化XPU使用。這步棋很有意思——輝達不再堅持所有AI工廠都得用它的GPU，而是改成「就算你不用我的GPU，互連技術還是用我的」。說穿了，這是從賣晶片變成賣基礎設施的思維轉換，也直接對超微的Infinity Fabric和英特爾的UPI形成壓力。
📅 2024年下半年：異質運算成為業界共識
輝達在這次大會上明確點出一個趨勢：未來的AI基礎設施將走向異質運算與標準化網路的混合模式。換句話說，不會只有一種晶片獨大，而是CPU、GPU、NPU、推論專用晶片各司其職。這對d-Matrix這類新創來說，是個好消息，因為市場不再只有「輝達或其他」的二元選擇。但同時也是壞消息，因為輝達顯然已經在為這個混合世界鋪路，而且鋪的是收費站。
這整個局勢的背後，有一個角色特別值得我們盯著看——台灣的半導體產業鏈。無論是d-Matrix的3D DRAM堆疊，還是輝達的Rubin，最終都要靠台積電這類先進製程代工廠來實現。對台灣來說，這些AI晶片的設計與量產既是訂單的來源，也是技術深度的試金石。新一代晶片對封裝、散熱、測試的要求只會更刁鑽，這正是台灣供應鏈最能發揮價值的所在。
編輯觀點：從產業面來看，d-Matrix這二十倍的宣稱數字確實吸睛，但我們得清醒地拆解一件事——「頻寬密度」和「實際推論吞吐量」是兩回事。Raptor的3D DRAM架構在技術上解決了HBM的I/O瓶頸，這是真功夫，但真正決定企業買單與否的，從來不只是一顆晶片的規格，而是整個軟體生態系、編譯器支援、以及與既有基礎設施的整合難度。輝達的護城河從來不是硬體，是CUDA、是NVLink、是那些讓工程師「不用想太多就能跑」的開發體驗。d-Matrix現在拿到的是進場門票，但要真正撼動賽局，還得把生態系這塊補上。對台灣半導體廠商來說，這是一個不該錯過的機會——當推論晶片走向多樣化，後段封裝與測試的客製化需求只會愈來愈高，這正是台灣最擅長的戰場。
講到這裡，你大概也看出來了：AI晶片競爭已經從單純的「誰的算力強」演變成「誰能定義AI工廠的基礎設施標準」。輝達不再只是賣GPU的公司，它正努力讓自己變成AI時代的基礎設施作業系統。而d-Matrix這類新創，則是從特定痛點切入，用更極致的專用設計來爭取市場的注意力。
對企業決策者來說，現在評估AI硬體投資的時候，不能再只看單晶片的規格數字。你得問自己：這顆晶片的生態系成熟嗎？它跟現有的雲端架構能不能無痛整合？三五年後會不會變成孤兒產品？這些問題的答案，往往比頻寬密度多個零或少個零更重要。
行動呼籲：如果你正在評估導入AI推論解決方案，不妨把d-Matrix的進展列入中期觀察清單，特別是明年Raptor機櫃級產品正式推出後的第三方實測報告。同時，請密切關注輝達NVLink Fusion的授權進度——這項策略可能比你選擇哪顆GPU更深刻影響你未來三年的基礎設施成本結構。科技新聞看熱鬧，採購決策看門道，現在該是看門道的時候了。
至今影響與未來展望
回顧整個事件，d-Matrix的Raptor確實為AI推論市場開了一條新路，它證明了專用推論晶片在特定場景下可以打出漂亮的規格戰。但真正的考驗才正要開始：量產良率、軟體生態系的建立、以及如何在輝達已經鋪好的互連道路旁邊，自己開一條新路。可以確定的是，2025年會是AI推論晶片百花齊放的一年，而台灣的半導體產業，將在這場戰局中扮演無可取代的關鍵角色。這場仗才剛開打，我們繼續看下去。
本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。
常見問題 FAQ
d-Matrix的Raptor晶片跟輝達的GPU有什麼不同？
Raptor是專門針對AI推論設計的晶片，而非訓練用。它的強項在於高頻寬密度和低功耗的記憶體存取，適合處理大型語言模型的即時生成與長上下文回應；輝達GPU則涵蓋訓練與推論，但生態系較為成熟完整。
Raptor的頻寬密度真的比輝達Rubin高出二十倍嗎？
這是d-Matrix在Hot Chips大會上宣稱的數據，指的是特定架構下的頻寬密度比較。不過輝達Rubin尚未正式發表，實際量產後的效能差距仍需待第三方實測驗證，現階段應審慎看待這類比較數字。
Raptor晶片對台灣半導體產業有什麼影響？
Raptor的3D DRAM堆疊設計與量產需求，可能為台灣的晶圓代工與先進封裝業者帶來新的訂單機會，同時也將考驗供應鏈在客製化封裝、測試與散熱等技術上的對應能力，進一步鞏固台灣在AI供應鏈的地位。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。