從 AI 推論時代看記憶體階層洗牌：一文看懂 HBF、SSD POD 與 SRAM 差在哪？

Crumax

1 小時前

隨著 AI 產業重心正從訓練轉向推論，輝達（NVIDIA）、Google 相繼推出推論專用晶片，Cerebras、SambaNova 等 AI ASIC 新創動作頻頻，記憶體階層也正在經歷洗牌：過去由 HBM（高頻寬記憶體）擔任主角的訓練時代，如今正被 HBF、SSD POD 與 SRAM 三種新興技術崛起補位。本文將從 TrendForce 新發布的研究報告出發，一步步拆解上述四種記憶體技術分別扮演什麼角色、與各自的差異。

重點摘要：

HBM 解決了 AI 訓練時代「頻寬」的痛點，但解決不了推論時代 KV 快取帶來的「容量」壓力。HBF、SSD POD、SRAM 三種記憶體技術因此找到了自己的定位。
HBF 介於 HBM 與 SSD 之間，主打大容量；SSD POD 則往下延伸至機櫃、共享儲存層級，透過 KV 快取卸載換取彈性；SRAM 則直接在晶片內建記憶體換取極致速度。
HBF、SSD POD 與 SRAM 三者並非擇一取勝，而是共同構成一套更精細分工的推論記憶體階層。

（記憶體牛市為何還能再漲五年？三指標看懂 HBM、DRAM、NAND 差在哪？）

廣告 - 內文未完請往下捲動

Table of Contents

AI 訓練與 AI 推論：不同目的、不同記憶體需求

AI 訓練指的是用大量資料集教會模型新能力的過程；AI 推論則是把已經訓練好的模型套用到新資料上、產生回應的過程。這兩個階段對記憶體的存取模式差異極大，也因此近年記憶體架構才會快速走向多元分工，而不再是單一規格打天下。

（NAND Flash 比 HBM 便宜百倍？傳奇程式設計師：AI 推論記憶體架構應重新設計）

回顧訓練時代：HBM 如何脫穎而出？

以目前主流的 Transformer 架構為例，訓練過程主要包含 Forward Pass、Backward Pass 與 Optimizer Update 三個階段。而由於這三個階段必須不斷重複執行以收斂模型，記憶體的存取速度也就成了決定訓練效率的關鍵。

HBM 正是在這樣的背景下誕生：把多層 DRAM 垂直堆疊、並透過矽穿孔（TSV）技術連接。相較於傳統 DRAM 得透過速度較慢的 PCIe 傳輸（PCIe 6.0 x16 單向頻寬約為 128GB/s），HBM 選擇與運算晶片並排封裝在同一片中介層上，大幅縮短資料傳輸路徑，單一 HBM 堆疊即可提供超過 2TB/s 的頻寬（HBM4 單一針腳單向頻寬已超過 1GB/s，單顆晶片就有 2,048 根針腳）。

AI 訓練（Training）記憶體階層圖：越往頂端越快、越小、越貴；越往底部越慢、越大、越便宜。

正因為這樣的技術突破，HBM 才得以撐起整個訓練時代，成為介於晶片內建 SRAM 與傳統 DRAM 之間的全新記憶體層級。

走向推論時代：KV 快取帶來的新瓶頸

在 AI 推論方面，主要分成兩個階段。Prefill（預填）階段會平行處理輸入的提示詞，同時計算並儲存每一層的 Key、Value 向量（也就是 KV 快取），並在此時產出第一個輸出 token；Decode（解碼）階段則從 KV 快取中讀取 Key、Value 向量，一次生成一個 token，並持續把新算出的 Key、Value 向量寫回快取，直到回應完成為止。

由於 Decode 階段必須不斷對 KV 快取進行逐 token 的讀寫，而 KV 快取的大小又會隨著對話輪數、上下文長度與批次量持續膨脹，單靠 HBM 的頻寬優勢已難以應付快速成長的推論需求。

換句話說，記憶體「容量」正在和「頻寬」一起，成為推論階段的雙重瓶頸。相較於已相對成熟的訓練記憶體架構，AI 推論的記憶體架構仍在快速發展中，各家業者也還在積極嘗試不同解法，整個記憶體階層正處於典範轉移的過程。

聚焦 AI 推論需求：未來五年記憶體架構的三種解方

HBF 是什麼？用 NAND 堆疊換取十倍容量

為了因應 KV 快取不斷成長的容量需求，記憶體大廠 SanDisk 與 SK 海力士早在 2025 年 8 月就宣布合作，共同開發 HBF（High Bandwidth Flash）技術，並在 2026 年 2 月進一步於 OCP（Open Compute Project）架構下成立專屬工作小組，正式啟動全球標準化進程。SK 海力士將 HBF 明確定位為「介於 HBM 與 SSD 之間的全新記憶體層。

技術原理上，HBF 是把多層 NAND 快閃記憶體垂直堆疊、同樣透過 TSV 連接。在預期頻寬達 1.6TB/s 的情況下，單一 HBF 堆疊可望提供約 512GB 的容量，大約是 HBM 的十倍以上（一顆 16 層堆疊的 HBM4 容量僅約 48GB），剛好填補 HBM 與傳統 DRAM 之間的缺口。不過，HBF 技術目前仍未量產，產業預期相關需求要到 2030 年左右才會真正浮現。

SSD POD 是什麼？補上本地 SSD 與共享儲存的缺口

在 HBF 尚未量產之前，許多業者已經開始採用 KV Cache Offloading（快取卸載）的做法，把不常用到的 KV 快取往下移到較低層級的記憶體，藉此減輕大量KV 快取帶來的儲存壓力。輝達也對此提出 SSD POD 概念，用來填補本地 SSD 與共享儲存之間的空缺。

在技術基礎上，可以參考輝達部落格對 Dynamo 框架的說明。Dynamo 能透過低延遲傳輸函式庫 NIXL，把 KV 快取從有限的 GPU 記憶體，即時卸載到 CPU RAM、本地 SSD 或遠端網路儲存等更具成本效益的儲存層，且不中斷推論運作。

儲存業者實測顯示，單顆 H100 GPU 即可達到 35GB/s 的吞吐量；8 顆 H100 構成的系統中，更能達到最高 270GB/s 的讀取吞吐量，證明儲存層已不再是推論效能的瓶頸。這也是為什麼 SSD POD 這類「跨機櫃、大容量」的儲存架構，在推論時代會變得如此重要。

（Penguin Solutions AI 伺服器估年底問世：「去輝達化」如何衝擊記憶體大廠？）

SRAM 是什麼？Groq、Cerebras 靠晶片內建記憶體衝刺解碼速度

除了 HBF 與 SSD POD，部分推論 ASIC 新創選擇另一條路：直接在晶片上放入大面積 SRAM，藉此突破 HBM 的速度限制。Groq 與 Cerebras 是兩個代表案例，前者的推論技術授權與核心團隊已於 2025 年 12 月被輝達收購。

物理特性上，SRAM 之所以比 HBM（本質上是一種 DRAM）更快，主要有兩個原因：

SRAM 單純的讀取動作本身就比 DRAM 快（存取時間約 1 奈秒，DRAM 則約 10 到 15 奈秒）
SRAM 直接與運算核心放在同個晶片上，資料傳輸距離短於放在晶片外部的 HBM。

根據技術媒體 Gimlet Labs 的分析，這樣的速度優勢也伴隨著容量代價。Groq 單顆 LPU 晶片僅內建約 230MB SRAM，若要支撐 700 億參數規模的模型，就得動用數百顆晶片相互連網。相對地，Cerebras 採用晶圓級（wafer-scale）設計，單顆晶片即可容納約 44GB SRAM，得以用更少晶片乘載更大模型。

這也是為何 SRAM 路線特別適合 Decode 階段這種「逐 token 生成、記憶體頻寬需求遠高於運算密度」工作型態的原因。

記憶體階層大洗牌：從訓練走向推論的架構轉變

隨著推論需求持續攀升，輝達宣布將把 Groq LPX 晶片納入 Rubin 系列產品線（預計 2026 年下半年出貨），同時發表 CMX（Context Memory Storage Platform）與 Vera CPU Rack。Google 也推出專為推論設計的 TPU v8i，相較於主打訓練的 TPU v8t，多搭載了 72GB 的 HBM3e，以及 384MB 的 SRAM。

除了這兩大巨頭，多家專攻推論晶片的 AI ASIC 新創在 2026 上半年同樣動作不斷：SambaNova 於 2 月推出第五代晶片 SN50；Cerebras 於 4 月申請 IPO，並宣布與 OpenAI、AWS 的合作案；Etched 則在 6 月宣布其 Sohu 晶片已於台積電順利流片。

總結而言，對照訓練時代幾乎由 HBM 一統天下的局面，如今的推論記憶體版圖明顯更加多元，未來記憶體架構的分工可望只會更加深化。