DRAM 只用一半、效能維持 95%?拆解 AMD MEXT 如何對抗記憶體荒

Crumax
分享
DRAM 只用一半、效能維持 95%?拆解 AMD MEXT 如何對抗記憶體荒

AI 需求推升 DRAM 價格,連不跑 AI 工作負載的一般企業也感受得到記憶體漲價的壓力。對此,AMD 發表預測式記憶體引擎「MEXT」,宣稱伺服器僅使用一半 DRAM 也能保有高達 95% 的效能,將有效緩解記憶體荒。本文拆解 MEXT 的運作原理、AMD 公布的測試數據與目前的限制。

MEXT 是什麼?把冷記憶體頁丟進快閃,再用 AI 提前叫回

根據 Tom’s Hardware 報導,MEXT 的核心概念並不複雜:伺服器的記憶體裡,其實有大量很久沒被碰過的「冷記憶體頁(cold memory pages)」。MEXT 把這些頁面卸載到相對便宜的快閃儲存(NVMe SSD),再由 AI 模型預測哪些頁面即將被使用,在需要之前先搬回 DRAM。

廣告 - 內文未完請往下捲動

對作業系統而言,被卸載的那部分記憶體仍然算作已安裝的 DRAM。AMD 與 MEXT 創辦人 Gary Smerdon 的說法是,依應用程式與效能目標不同,伺服器可以少用 20% 至 75% 的實體 DRAM。

AMD 用一個例子說明冷頁有多普遍:「一台看起來記憶體全滿的 1.5TB 系統,任一時刻約有一半的頁面已超過五分鐘沒被碰過。」此時,搭配的 RAM View 工具,就是用來觀察哪些頁面是熱的、哪些是冷的。

技術拆解:預測下一個記憶體頁,減少 DRAM 需求

報導指出,MEXT 的核心是 Transformer 架構的模型,但它與 LLM 預測下一個字不同,預測的是下一個將被使用的記憶體頁。只要預測夠準,並在 SSD 傳輸延遲內把頁面送回 DRAM,效能就能達標。頁面也不必依序搬回,只要在被使用前進入 DRAM 即可。

部署上,MEXT 以 Linux kernel module 形式運作,相容任何 Linux 發行版。模型不需要預訓練,首次部署的訓練時間不到一秒,只用一顆 EPYC 核心、無需 GPU,且會隨工作負載變化持續學習。

這也是 MEXT 的雙面刃:成敗不取決於平均效能,而在於預測準確率。一旦預測失誤,頁面得從 SSD 即時讀回,延遲就會反映在應用程式上。報導引述的 AMD 數據中,並未看到預測命中率的數據。

AMD 內部測試:DRAM 砍半仍保有原效能?

AMD 公布了幾組內部測試成績:Synopsys PrimeTime 在一半 DRAM 下擁有 95% 效能,DRAM 剩 25% 時擁有 80%。Spark SQL 在 Azure 上以第五代 EPYC 建立的三節點叢集中,在一半 DRAM 下保有 99% 效能。Agentic AI 方面,五個 agent 同時執行時,在一半 DRAM 下仍保有 99% 效能,剩 25% 時保有 85%。

AMD 強調,多數工作負載合理的容量縮減幅度約在 20% 至 25%;縮減越多,方案越需要針對特定應用調整,效能落差與不穩定性也越大。

MEXT Ready 伺服器登場:2027 年部署上看 2,000 台

AMD 已在內部 145 台伺服器上部署 MEXT,明年將擴大到 2,000 台,並與 HPE 合作,把 MEXT 帶給客戶。目前屬於第一階段:部分 EPYC Venice 伺服器會掛上「MEXT Ready」標章,並配備專用的 NVMe 硬碟或擴充槽。第二階段,MEXT 授權將連同 RAM View 一起提供,但 AMD 尚未公布時程。

目前,MEXT 僅支援 EPYC,應用範圍相當受限,未來有望延伸到 Strix Halo 等消費級產品,但距離實現恐怕還很遙遠。

(AMD 第六代 EPYC Venice 開始出貨!首款台積電 2 奈米伺服器 CPU 登場)

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。