HBM的前世今生：從各世代HBM看頻寬、堆疊與散熱瓶頸，封裝為何是關鍵戰場？

Crumax

35 分鐘前

記憶體三大廠之一的美光（Micron, MU）於 Hot Chips 2026 大會發表演說，坦言 AI 算力每兩年成長 3 倍，超過 HBM 頻寬每年不到 2 倍的擴展速度，「記憶體牆（Memory Wall）」持續惡化。Meta Llama 3 訓練過程中高達 17% 的非預期中斷暴露 HBM 缺陷，進一步加劇記憶體可靠性危機。美光擔憂，若無製程、封裝與 IO 設計三個層面的顛覆性創新，HBM 當前路線恐更快面臨物理極限。

重點摘要：

AI 算力成長速度（每兩年 3 倍）持續碾壓 HBM 頻寬（每兩年不到 2 倍），記憶體牆持續惡化
Meta Llama 3 的訓練中，約 17% 的意外中斷歸咎於 HBM 故障
典型 AI 加速器封裝中，HBM 矽晶面積比 GPU 多 8 倍
HBM4 頻寬達 2,800 GB/s，較 DDR5 高出 15 至 17 倍，但單位容量矽面積成本約為 DDR5 的 3 倍
密度越高、能效越差，疊高 stack 已非萬能解方
美光押注 Fusion Bonding、Glass Substrate、CPO 等破壞性創新封裝技術突圍
當前問題單一廠商難解決，需 HBM 供應商、晶圓代工/OSAT、SoC 設計、軟體與學術界全產業鏈合作

（記憶體牛市為何還能再漲五年？三指標看懂 HBM、DRAM、NAND 差在哪？）

廣告 - 內文未完請往下捲動

Table of Contents

從 Scaling Law 看記憶體地位：擴展 LLM 效能的核心

美光首先引述 OpenAI 的研究論文《Scaling Laws for Neural Language Models》作為開場。以三張冪次律曲線說明核心問題：LLM 的測試損失會隨算力、資料集大小與模型參數量的增加平滑下降，且三者必須同步擴展才能達到最佳效能。

換言之，記憶體並非配角，而是驅動 LLM 持續進步的關鍵變數之一。沒有記憶體的同步擴展，算力的增加是無效的。

記憶體牆正在惡化：頻寬難以追上算力成長

從 2019 至 2027 年的實際產品數據來看，GPU 算力沿著 A100、H100、MI300X、B200 一路攀升，成長速度維持在每兩年約 3 倍；HBM 頻寬從 HBM2E 演進至 HBM4，成長速度卻只有每兩年不到 2 倍。

複利效應下，每隔兩年算力對記憶體的需求缺口就額外擴大 1.5 倍，長期累積的鴻溝極為可觀。

HBM 為何難以取代？Roofline Model 的工程邏輯

美光以 Roofline Model（屋頂線模型）說明 HBM 的核心價值。AI 訓練與推論中的大量運算落在「記憶體瓶頸區（Memory Bound）」，處理器在等待資料送達期間無法發揮效能。

Roofline Model：HBM 透過提升頻寬上限將屋頂線上移，使記憶體密集型 AI 工作負載達到更高效能

HBM 的作用是將頻寬上限整體上移，使更多 AI 工作負載在觸及記憶體上限之前就進入算力飽和區，充分釋放 GPU 的理論峰值效能。

HBM 六代規格演進一次看：從「存多少」轉向「傳多快」

HBM 自 2014 年問世以來，六個世代的核心規格大幅躍升：

HBM 六代規格對照表：涵蓋通道數、資料速率、標稱頻寬、DRAM 密度、堆疊高度及 Cube 容量等

資料速率從 1 Gbps 上升至 11 Gbps，成長 11 倍
標稱頻寬從 128 GB/s 躍升至 2,800 GB/s，成長 22 倍
HBM4 首次將 Data I/O 數量從前五代的 1,024 條翻倍增至 2,048 條，這是頻寬大幅躍升的主因之一

值得注意的是，HBM4 與 HBM3E 的單 die DRAM 密度同為 24 Gb，HBM4 的頻寬飛躍靠的是 IO 加倍與資料速率提升，而非更高的 die 密度，說明 HBM 的世代競爭重心已從「存多少」轉向「傳多快」。

矽晶面積比 GPU 多 8 倍：HBM 成 AI 加速器的真正主體

美光同時指出，在配備 8 顆 HBM4 的典型 AI 加速器封裝中，記憶體矽晶面積是 GPU 的 8 倍。換句話說，HBM 才是一顆 AI 加速器面積上最大的物理組成，GPU die 反而是少數。

矽面積比較圖：左側為 8 顆 HBM4 圍繞 2 顆 GPU die 的 SiP（System-In-Package）封裝，右側比較 GPU 與 HBM4（12-high）的矽晶面積，後者超過前者 8 倍以上

HBM vs. DDR5：頻寬領先 15 倍，但矽面積代價是 3 倍

在典型 GPU 配置下，HBM 系統總頻寬達 5.3 TB/s，DDR5 約為 300 GB/s，差距約 16 倍；單 die 頻寬方面，HBM3E 的 256 GB/s 對比 DDR5 的 8 GB/s，差距進一步擴大至 32 倍。AI 高序列存取的工作負載特性下，HBM 的每瓦頻寬（Bandwidth/Watt）效率優勢呈指數級放大，DDR5 則幾乎持平。

HBM vs. 傳統 DDR DRAM 指標比較表：包括系統頻寬、容量、每 die 並行度（banks 數）、每 die 頻寬及能源效率等

然而代價同樣沉重：提供相同容量，HBM3E 所消耗的矽面積約為 DDR5 的 3 倍，這就是 HBM 單位容量成本遠高於 DDR5 的主要原因。

HBM 物理瓶頸浮現：堆疊難度、散熱密度兩頭燒

HBM 面臨的困境不只是頻寬跟不上算力，其物理結構正在製造兩個相互強化的瓶頸。

堆疊高度的困境

美光表示，stack 層數從過去最初的 4-Hi 增至目前主流的 12-Hi，目前路線圖上甚至存在 16-Hi 到 20-Hi 的規劃。然而，超過 16-Hi 「仍有大量工程問題待解決」，主要是隨層數增加而惡化的 TSV 製造良率問題。

散熱密度的困境

美光強調，問題本質是功率密度（power density）而非總功耗。熱量最集中的區域是 Base Die，因為 HBM 最複雜的邏輯功能幾乎全部集中於此。隨著 stack 層數增加，上方 DRAM die 的熱量必須向下傳導，進一步加重 Base Die 的散熱負擔，形成惡性循環：

Meta Llama 3 用數字說明這個後果有多嚴重，大規模 LLM 訓練動輒耗時數週至數個月，超過 17% 的故障中斷出於記憶體故障，正直接影響 AI 技術的推進效率與成本。

（從 AI 推論時代看記憶體階層洗牌：一文看懂 HBF、SSD POD 與 SRAM 差在哪？）

破局路徑：封裝技術成下一代 HBM 的真正戰場

美光對此就 IO 與封裝技術方向，提出兩大突破路徑以應對上述瓶頸。

高速 IO 的三條技術路線

首先是針對記憶體存取模式特性最佳化的電路設計。其中更值得關注的是，投影片中出現的 CPO（共封裝光學），顯示美光正探索以光學互連突破銅線在高速傳輸中的物理限制。

高速連結與 SiP 整合技術架構圖：右側列出在 IO 的三個主攻方向、以及在更大中介層封裝面積上的兩大技術突破方向

（當記憶體堆疊達到極限：「光學互連」如何打破 GPU–HBM 封裝成新寵兒？）

先進封裝的三層次演進

第二，現行主流的 μbump 之後，Fusion Bonding（融合鍵合）支援個位數微米 pitch，可減少 DRAM die 之間的介電層數量並直接降低熱阻；Hybrid Bonding（混合鍵合）則同時實現金屬對金屬與氧化物對氧化物的鍵合，兼顧電性與機械強度。

先進封裝產業趨勢總覽：呈現從 CoS 至 W2W 的堆疊技術路線，以及 μbump、Fusion bonding、Hybrid bonding 三種互連技術的密度演進。

此外，玻璃基板（Glass substrates）以更低介電損耗與更大可製作尺寸，被視為突破矽基板面積瓶頸的關鍵路徑。

美光：全產業供應鏈協作才是最佳解方

美光以 ChatGPT 在上線後 2 個月內觸達 1 億用戶，創下人類科技擴散史上最快紀錄作為收尾，量化 AI 浪潮對記憶體技術的緊迫要求。美光的結論是：HBM 的突破不可能由任何單一公司獨力完成，必須由軟體、先進封裝、晶圓代工/OSAT、學術研究機構、HBM 製造商與 SoC 設計廠等六方產業為核心，緊密合作並推進。

如今，HBM 世代競爭的決勝點已從「誰的製程更先進、誰的 stack 更高」，轉向誰能在 Fusion Bonding、Glass Substrate、CPO 等顛覆性創新封裝技術上率先完成量產驗證。隨著 AI 算力規模持續上升，記憶體牆還仍待產業攜手翻越。

風險提示

加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。