前 Google 員工點破 AI 算力真相：比起 GPU 更「缺電」、Neocloud 不可靠
AI 算力的真正瓶頸，可能不是 GPU 產量，而是資料中心容量與電力。一名前 Google 員工近日在訪談中指出，美國的 GPU 供給跟不上需求，主因是機房與電力不足；同時，部分 Neocloud 業者的可靠度也讓客戶吃足苦頭。馬斯克（Elon Musk）對此轉發並回應，認為「缺電」的說法過度簡化。
AI 算力瓶頸浮現：美國低延遲 GPU 容量供不應求
這位專家表示，目前最大的限制是「容量」。部分公司的流量成長 5 倍，但市場上能用的 GPU 容量不足，尤其是對延遲要求最嚴格的客戶，GPU 必須部署在美國境內。技術上，業者可以改到新加坡、馬來西亞或澳洲取得 GPU，但多數客戶並不接受延遲的上升。專家形容，市場上「可用的容量很多，但沒有一個好」。
他舉例，部署大型模型時必須快速載入，例如約 3 TB 的模型，理想上要在 10 分鐘內從檔案系統載入 GPU。因此除了 GPU 本身，網路與檔案系統的品質同樣關鍵。
廣告 - 內文未完請往下捲動
GPU 雲端供應三結構：Hyperscaler 貴、Neocloud 不穩、新業者規模小
專家把 GPU 雲端供應商分成三層，各有問題：
- 第一層：Hyperscaler（AWS、Azure，以及希望納入的 Oracle）。可靠度高，但價格昂貴，合約往往要求至少三年，且客戶現在追的是 B300，近期連 B200 都開始被視為「過時」，沒人想為一批舊世代 GPU 綁約三年。
- 第二層：Neocloud（如 Nebius、Vultr，及 CoreWeave 等，約 20 至 30 家）。專家所屬公司約 80% 至 90% 的容量放在這一層，但可靠度較差，需要投入更多工程資源協調。
- 第三層：新興的小型業者。多為看見商機的投資人與傳統基礎設施業者自建資料中心，分散在美國各地，單一據點約 4,000 顆 GPU，名氣不高，專家形容「連賣不賣得出去都是問題」。
Neocloud 的可靠度問題方面，專家舉例：客戶部署 90 個模型副本、每個需 8 顆 GPU，合計 720 顆；但就在某天凌晨，其中 20 顆 GPU 無預警斷線，原因被推測是網路問題或 Blackwell GPU 過熱。
在付款條件上，專家指出，多數美國 Neocloud 要求 20% 至 30% 的預付款，其餘按月或按季支付，合約期滿後再就事故損失（例如流量長期損失 15%）協商折讓。相較之下，亞太業者則通常不要求預付。
（風投合夥人談輝達轉型：「合成版超大規模雲端業者」將取代微軟、Google）
開源模型快速追趕，客戶開始替換 Anthropic 與 OpenAI
專家同時觀察到模型端的變化：開源模型正在追上先進模型，且近一個月速度更快。他說，自今年第二季前後起，客戶開始在多代理架構中，以開源模型取代部分 Anthropic 與 OpenAI 的模型。
他認為，客戶替換的路徑將由簡入繁：
- 先從呼叫工具、MCP 等簡單任務開始。
- 再上移到底層編排（low-level orchestration）。
- 最後走入日常開發與除錯。
他以 Cursor 為例：最上層編排仍用 Anthropic 與 OpenAI 的模型，底層平行搜尋程式碼則可改用 Composer 2.5，並稱其為 Qwen 的後訓練模型。專家透露，下一波值得關注的是 GLM 5.2，市場也已在討論 Kimi K3。
展望未來兩年：GPU 出貨增加，但美國電力成關卡
展望未來，專家認為 GPU 的可用性在一兩年內會大幅改善，因為輝達（NVIDIA）持續擴大出貨。但他也強調，實際在資料中心運轉的 GPU 總量不會增加太多，原因是美國缺乏足夠的電力，他認為「極度短缺的是資料中心，而非 GPU」。
此外，他觀察到 Meta 與 xAI 已有部分閒置的 GPU 機群，並開始自建雲端業務對外出租，預期未來會有更多業者跟進。
馬斯克轉發該文章並回應：「『缺電』這個說法過度簡化，要讓大規模算力以極快速度上線，每個環節都很困難。」他表示，若時間多一倍，這件事會相對容易，但實際上根本沒有那麼多時間。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
