AI 基礎設施成本結構大洗牌：GPU、DRAM 下台，光學互連成新關鍵
兩份來自傑富瑞（Jefferies）與美國銀行（BofA）的研究報告共同指出：隨著 AI 機架規模擴張，算力晶片佔整體建置成本的比重已回落、記憶體則略為持平，而光學互連網路正成為 AI 基礎設施支出的新價值重心，且其市場地位仍被投資人低估。
機架成本結構重組：GPU 佔比滑落、網路與光纖飆升
根據傑富瑞針對 NVIDIA AI 機架平台的物料清單（BOM）分析，GPU 在整體機架成本中的佔比，已從最早 GB300 NVL72 世代的 62.5%，逐步降至 Rubin 世代 NVL576 Pod 的 46%。與此同時，單一機架的總採購成本卻從 416 萬美元暴漲至 5,525 萬美元，漲幅超過 13 倍。
網路設備與光纖互連佔比方面，從 GB300 時代的 8.6%，一路攀升至 NVL576 Pod 的 22.4%，以絕對金額計算，超過 1,200 萬美元的機架建置費用流向了光學互連與交換網路。這代表 GPU 並沒有變便宜，而是其他元件的成本以更快的速度膨脹。
廣告 - 內文未完請往下捲動
（從單機架到叢集：Nvidia Rubin Ultra 降規為何「利空記憶體、利好光學元件」）
KV 快取規模爆炸，記憶體層級成推論瓶頸核心
美銀幾天前與前微軟工程副總裁 Fran Cardells 的訪談，也從架構角度解釋了上述成本變動的原因。
Cardells 指出，AI 推論基礎設施與模型訓練有本質上的差異：推論要求近即時回應、極低延遲、高度在地化的記憶體配置，以及具備經濟效益的 GPU 使用率。在 agentic AI 工作負載下，KV 快取必須儲存先前的 token 序列、企業情境脈絡、護欄規則與 agent 決策日誌，其規模在某些場景下可達模型權重本身的 10 倍。隨著上下文視窗從約 128K token 朝 1M token 擴展，加上多 agent 同步運作的需求，記憶體需求正持續飆升。
（Meta Muse AI 代理點燃 CPU、eSSD 需求！投顧點名「這檔」受惠最直接）
HBM4 的加入、系統記憶體需求擴大，以及 3D NAND 作為 KV 快取卸載儲存媒介進入機架配置，共同推高了記憶體的 BOM 比重。儘管後續隨 HBM4 量產成熟而回落至約 19%，但 Cardells 強調，HBM 需求預計將持續維持高位，供給緊張格局短期內不會解除。
前微軟高層點名「光子學與高速互連」：被市場嚴重低估
當 GPU 叢集規模從單一機架演進為跨機架的 Pod，乃至更大規模的資料中心 fabric，機架之間的光學互連與對外的 scale-out 網路就成為難以迴避的大宗支出。Cardells 直接點名：「高速網路、光子學、記憶體池化（memory pooling）、晶片內記憶體創新，以及超乙太網路（Ultra Ethernet），是目前市場「最被低估」的 AI 基礎設施投資主題。」
他解釋，推論效率的關鍵在於讓 GPU 維持滿載運算，而要達到這個目標，必須透過高頻寬網路快速移動 KV 快取，把非活躍資料卸載至 DRAM、NVMe 或 Flash 等低成本記憶體，並在任務恢復時即時重新載入壓縮資訊。
因此整個推論流程的瓶頸，已從「擁有多少 GPU」變成「資料能以多快的速度在 GPU、記憶體與儲存之間流動」。
（導讀外資光學研報：CPO 需求爆量、訂單能見度看至 2028，美系三大廠展望一次看）
受益標的有誰？從 GPU 供應鏈轉向光學生態
綜合兩份報告，受益於這波成本結構轉型的供應鏈輪廓日益清晰。美銀明確點名 SanDisk（SNDK）作為 3D NAND 的直接受益者，並看好 DigitalOcean Holdings（DOCN）、Apple（AAPL）、DELL、Hewlett Packard Enterprise（HPE）在 agentic AI 推論基礎設施廣泛普及下的長線佈局機會。
傑富瑞的 BOM 數據則納入了 Coherent（COHR）、 中際旭創（InnoLight）等光收發模組廠商、Fabrinet（FN）等代工業者、以及博通（AVGO）、Marvell（MRVL）等高速網路交換晶片設計商，看好訂單能見度逐漸提升。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
