NAND Flash比HBM便宜百倍？傳奇程式設計師：AI推論記憶體架構應重新設計
以《毀滅戰士（Doom）》與《雷神之鎚（Quake）》聞名的傳奇遊戲程式設計師 John Carmack，近日在社群媒體上發文，針對當前 AI 的硬體架構提出另一主張：AI 模型推論的記憶體存取模式與遊戲渲染並不一樣，這代表比高頻寬記憶體（HBM）便宜一百倍的 NAND 快閃記憶體，或許能夠成為 AI 加速器記憶體架構的核心角色。
（記憶體牛市為何還能再漲五年？三指標看懂 HBM、DRAM、NAND 差在哪？）
Carmack：AI 推論不需要隨機存取記憶體
Carmack 的論點核心在於：遊戲渲染引擎無法預知下一幀將存取哪塊材質或幾何資料，因此只能使用隨機存取記憶體；但 AI 模型在推論時，對各層權重的讀取順序完全可以事先確定（deterministic），不一定需要隨機存取。
廣告 - 內文未完請往下捲動
他強調，系統可以容忍幾毫秒的冷啟動延遲，只要後續連續讀取的頻寬達標即可。NAND Flash 在連續讀取效能上並不遜色，其每 GB 成本卻比 HBM 低上百倍；即使為 Flash 控制器配備 1024-bit 寬介面以模擬 HBM 頻寬，就成本而言仍相當具有競爭力。
點名兩條實作路徑，光碟機時代技巧也能派上用場？
Carmack 提出兩種具體架構：
- 專用管線介面：設計專屬引腳協定，將 Flash 完整頁面（16KB 以上）直接流式傳入加速器的 scratchpad SRAM，每引腳效能理論上可超越 HBM，但現有程式碼必須完全重寫，工程風險較高。
- RAM 模擬介面：讓 Flash 對外表現得像一般隨機存取記憶體，但設定「性能懸崖」，非循序讀取的效能將跌落逾千倍。這條路徑可沿用現有快取層級架構，便於漸進式優化，且可透過同一條路徑更新模型權重。
若 scratchpad SRAM 不足以一次裝載某一層的全部權重，Carmack 建議借用 CD-ROM 時代的優化技術：在 Flash 上將同一份資料複製多份、分散部署，避免循序讀取時需要「倒帶」。Flash 容量足夠龐大，這樣的冗餘部署能輕鬆負荷。
至於訓練場景，Carmack 坦承論點較弱：「Flash 有寫入次數壽命限制，頻繁的反向傳播更新確實會迅速磨損晶片。」但他認為，以高延遲的大量平行低成本 DRAM 取代 HBM，在成本效益上是可以成立的。
花旗研報：HBM 與 DRAM 成本過高，NAND SSD 成備選
Carmack 的觀點，與花旗銀行分析師的觀察方向不謀而合。該行上個月發布報告指出，隨著代理式 AI（agentic AI）應用對鍵值快取（KV cache）容量需求激增，單靠 HBM 與傳統 DRAM 恐成本過高且供給跟不上，預期部分運算負載將轉向以企業級 SSD 作為「主動記憶體層」使用。
花旗估算，解決這一瓶頸可能需要新建 2 至 4 座 NAND 晶圓廠，對應約 150 億至 300 億美元的設備支出規模，並因此上調應用材料（AMAT）、科林研發（LRCX）與科磊（KLAC）等標的的目標價。
（美光財報將優於預期？分析師：花旗研報太保守、NAND 成 DRAM 瓶頸最大受益者）
中國長江存儲 NAND 技術佈局已久，專利數量超車韓系大廠
若 NAND Flash 真的成為 AI 記憶體架構的重要一環，中國長江存儲（YMTC）的技術進度便成為不可忽視的地緣政治變數。鏈新聞昨日報導，該公司自主研發的 Xtacking 架構，是全球首個達到商業化量產規模的晶圓對晶圓（W2W）混合鍵合 NAND 技術，最新產品已量產至 270 層。
根據 2023 年統計，長江存儲持有 119 項混合鍵合核心專利，超越三星電子的 83 項與 SK 海力士的 11 項，甚至連三星都得為推進下一代 NAND 發展，被迫向 YMTC 購買專利授權。
（中國進軍「後 HBM 世代」！長鑫秘研鍵合 DRAM、長江 NAND 專利超車三星）
若 AI 推論硬體對高密度 NAND 的需求如 Carmack 所預期般爆發，長江存儲的專利壁壘與量產能力，有望在全球供應鏈格局中扮演愈來愈關鍵的角色。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
