Penguin Solutions AI 伺服器估年底問世:「去輝達化」如何衝擊記憶體大廠?

Crumax
分享
Penguin Solutions AI 伺服器估年底問世:「去輝達化」如何衝擊記憶體大廠?

日經亞洲報導,日本 AI 產業正加速擺脫對 Nvidia GPU 伺服器的高度依賴。美國 AI 基礎設施公司 Penguin Solutions(PENG)計畫於 2026 年第四季在日本推出 MemoryAI KV 快取伺服器,讓業者能以最低七分之一的每 GB 記憶體成本擴充大型語言模型(LLM)的推論記憶容量。 然而這樣的替代方案,也正對高頻寬記憶體(HBM)市場造成衝擊。

記憶體牛市為何還能再漲五年?三指標看懂 HBM、DRAM、NAND 差在哪?

Penguin Solutions 打破記憶體牆:CXL 讓 KV 快取擴容成本省七倍

AI 推論工作負載約 70% 的效能瓶頸來自記憶體頻寬與容量,僅 30% 屬於運算叢集。當 LLM 的對話上下文(即 KV 快取)超出 GPU 內建 HBM 的容量上限,系統有幾個選擇:

廣告 - 內文未完請往下捲動
  1. 重新計算已捨棄的 token,但會增加延遲
  2. 將快取卸載至 NVMe SSD,同樣會增加延遲
  3. 增購更多 GPU,增加建置成本

Penguin Solutions 的 MemoryAI KV 快取伺服器正瞄準了這個瓶頸,這款產品採用 CXL(Compute Express Link)開放標準記憶體互連技術,在 GPU 叢集之外建立全新的記憶體階層,將 LLM 的 KV 快取從 GPU HBM 卸載至外部 DDR5 記憶體模組,最高可配置 11 TB 容量,速度比 NVMe 方案快十倍。

作為業界首款量產就緒的 CXL 型 KV 快取伺服器,報導預估,透過將 KV 快取移至外部記憶體,每 GB 費用可壓縮至擴充 GPU 方案的三分之一至七分之一,為日本 AI 業者提供一條無需擴大 Nvidia GPU 採購也能規模化 LLM 推論的替代方案。

輝達認記憶體缺口延燒多年:分析師看好 CXL3.0 生態爆發、五層次佈局一次看

亞太聯手:豐通電子攜南韓 AI 新創,測試低功耗推論方案

在記憶體優化路線之外,另一條替代路徑也在同步推進。豐通裝置已於 2025 年 10 月與南韓 AI 新創 Rebellions 簽署合作備忘錄(MOU),承諾在日本市場共同推廣 NPU 產品並開發市場。報導指出,豐通裝置目前正與當地 AI 業者 Tomorrow Net 針對搭載 Rebellions NPU 的伺服器進行 PoC 測試。

NPU 的核心價值在於針對 AI 推論階段所需的矩陣乘法與 transformer 運算進行架構最佳化,在相同推論任務上通常能以大幅低於 GPU 的功耗達到具競爭力的吞吐量,進而降低資料中心的電力與散熱成本。

「去輝達化」衝擊記憶體市場:HBM 壓力給到 SK 海力士

從 AI 記憶體市場的角度解讀,「去輝達化」浪潮對各大記憶體廠商也將造成衝擊。CXL 方案對 HBM 的影響在於:它讓客戶在擴充 KV 快取容量時,不再一定需要增購 GPU,然而每張 GPU 都捆綁搭售 HBM。

全球 HBM 市場市佔率,依收入排名(來源:Counterpoint

換句話說,去輝達化的替代方案或將削弱整體市場對高成本 HBM 的需求,以市佔率而言,首當其衝的會是 SK 海力士(58%)、三星(21%)與美光(21%)。

DRAM 三巨頭祭 SCA 鎖單、入股 AI 企業:四原因解釋為何記憶體這次不一樣

推論時代來臨:AI 硬體多元化成結構趨勢,GPU 主導地位面臨長期挑戰

日經亞洲分析認為,NPU 普及浪潮與 Google 自研 TPU 等「去輝達化」技術方案的崛起,中長期將成為影響 GPU 供需格局的重大變數。論述基礎在於:AI 產業的運算重心正從模型訓練快速移往推論

訓練是偶發性、運算密集型任務,GPU 大規模並行的算力優勢最為突出;推論則是持續性、記憶體密集型服務,架構更輕薄、功耗更低的 NPU 與 CXL 記憶體優化方案,在此則具備了天然的經濟性優勢。

如今,Penguin Solutions 的 CXL 記憶體方案與 Rebellions 的 NPU 伺服器,恰好從記憶體優化與推論晶片提供了一條技術替代路徑,也為韓國 AI 半導體業者開啟了進入日本市場的重要戰略窗口。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。