HBM 不是最優解!南亞科攻客製化 DRAM:AI 推論改寫記憶體架構

Crumax
分享
HBM 不是最優解!南亞科攻客製化 DRAM:AI 推論改寫記憶體架構

隨著 AI 應用重心從雲端訓練轉向推論,HBM 缺點日益浮現。南亞科資深副總吳志祥昨日於工研院「半導體與 AI 算力永續競爭力論壇」上指出,HBM 在功耗與 I/O 架構上的先天限制,使其難以勝任邊緣推論場景;南亞科因此積極佈局「客製化 UWIO DRAM」搭配 3D IC 堆疊技術,以泰山新廠為產能擴張重點,最快明年初啟動量產。

NAND Flash 比 HBM 便宜百倍?傳奇程式設計師:AI 推論記憶體架構應重新設計

AI 推論時代來臨,HBM 優勢正消失

過去幾年,HBM 作為驅動 AI 大型模型訓練的關鍵記憶體技術,可以說是高效能運算不可或缺的代名詞。然而,吳志祥指出,當 AI 發展軸線從雲端大規模訓練轉移至終端裝置上的推論應用,記憶體需求的性質也隨之改變。

廣告 - 內文未完請往下捲動

邊緣推論場景的挑戰,在於使用者端持續產生的大量對話紀錄與 KV 快取,對記憶體頻寬與功耗形成壓力。HBM 受限於有限的 I/O 接腳數量與相對偏高的能耗,在強調反應速度與電源效率的 AI PC、智慧型手機及可攜式裝置上,並非最理想的選擇。

換言之,HBM 解決了訓練時代的問題,但推論時代需要不同的答案。

HBM 後 AI 記憶體瓶頸是 HBF?圖靈獎得主 David Patterson:推論將重新定義儲存架構

南亞科的差異化破口:UWIO 搭配 3D IC 堆疊

面對上述市場缺口,南亞科以客製化 UWIO DRAM 為產品方向,結合 Wafer-on-Wafer(WoW)3D IC 堆疊技術,讓 DRAM 能夠直接整合至 CPU 或 ASIC 邏輯晶片之上,省去傳統封裝互連的訊號損耗與延遲。

這套架構在效能指標上具備顯著優勢,不僅頻寬較傳統方案提升 5 至 10 倍,每 bit 能耗更僅為 HBM 的三分之一至十分之一。對於邊緣裝置而言,這意味著可以在不犧牲效能的前提下大幅壓低熱設計功耗(TDP),正好打中當前 AI 終端裝置設計的最大痛點。

記憶體牛市為何還能再漲五年?三指標看懂 HBM、DRAM、NAND 差在哪?

AI PC 帶動記憶體需求爆量,南亞科製程多線並進

需求端的成長也為南亞科的策略轉型提供有力支撐,以 AI PC 為例,單機搭載記憶體容量已從過去的 16GB 大幅躍升至 128GB,加上全球每年數億台的出貨規模,DRAM 需求量預計進入指數型擴張週期。

為承接這波訂單浪潮,南亞科在製程與產品線雙線並進:主力 16 奈米(1B 世代)產品已擴展至逾十款品項,同時同步推進 1C、1D、1E 三個更先進製程世代的開發,顯示公司有意在技術路線上加快節奏、縮短世代間距,以維持與市場需求的同步性。

泰山新廠明年量產,縮短與國際大廠差距

在產能佈局上,南亞科位於新北市泰山的新晶圓廠是最關鍵的一步棋。這座總投資規模高達新台幣 5,000 億元的廠區,預計將導入 EUV 極紫外光微影設備,明年資本支出初估超過新台幣 2,000 億元,將於明年初正式開出產能,進一步拉近南亞科技與美光、SK 海力士等國際一線廠商之間的製程與規模差距。

製程微縮帶動功耗驟降,永續目標同步推進

吳志祥強調,技術升級與永續目標在南亞科技並非對立,而是相互強化,像是 1C 奈米製程產品的功耗,相較 1A 奈米製程就降低了 34%。

廠務方面,南亞科廠區已 100% 配備 local scrubber 廢氣處理設備及 AMAT i-System 智慧控制系統,溫室氣體減排效率達 94%;並透過 ISO 50001 能源管理系統,連續多年維持年均節電 8% 至 9% 的水準,在客戶端供應鏈永續要求日趨嚴格的當下,成為值得一提的競爭加分項。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。