Meta 部署 Google TPU!聯手開源 TorchTPU,輝達 CUDA 護城河面臨挑戰
AI 晶片市場的競爭正從硬體效能延伸至軟體生態系。Meta 與 Google 於 10 月 20 日共同宣布開源 TorchTPU,讓開發者能夠直接使用 PyTorch 在 Google TPU 上執行 AI 模型。更值得注意的是,Meta 首度公開證實,已經在正式生產環境中使用 Google TPU 執行 AI 推論工作負載,代表 Google 自研加速器不再只是自家產品或少數合作夥伴的選擇,也開始深入大型科技公司的 AI 基礎設施。
Meta 證實 Google TPU 已投入生產,不再只是實驗性部署
這項消息來自 Google 在 PyTorch Conference 2026 期間發布的技術公告。Google 宣布與 Meta 共同開發的 TorchTPU 正式開源,同時推出基於 TorchTPU 的 vLLM 與 SGLang 原生推論引擎,讓 Google TPU 能夠直接整合目前主流的大型語言模型推論框架。
其中,Google 與 SGLang 團隊的聯合公告明確指出,SGLang-TorchTPU 已經在 Meta 的大型生產環境中運作。
Meta 的 PyTorch-TPU 負責人 Zongwei Zhou 也證實,這套系統是 Meta、Google 與 SGLang 三方密切合作的成果,目前已經能夠整合至 Meta 現有的 AI 基礎設施,並滿足先進 AI 工作負載對效能、可靠性及彈性的要求。
Google 與 Meta 聯手開源 TorchTPU
長期以來,輝達在 AI 加速器市場的優勢,並不只是 GPU 本身的運算能力,而是圍繞 CUDA 建立的完整軟體生態系。
開發者可以透過 CUDA、cuDNN、TensorRT 等工具最佳化 AI 模型,加上 PyTorch 等深度學習框架對 GPU 的成熟支援,使輝達成為 AI 訓練與推論的主要選擇。即使其他晶片具備更好的價格或能源效率,開發者仍可能因移植成本、軟體相容性與工程複雜度,而繼續使用輝達 GPU。
Google TPU 過去也面臨類似問題。儘管 Google 長期將 TPU 用於搜尋、廣告及 Gemini 等 AI 工作負載,開發者通常仍需要透過 JAX、TensorFlow 或特定的 PyTorch/XLA 工具鏈,才能充分利用 TPU。
TorchTPU 則試圖改變這種情況。根據 PyTorch 官方公告,TorchTPU 是 Google 與 Meta 共同開發的原生 PyTorch TPU 後端,讓 TPU 能夠像 GPU、CPU 一樣成為 PyTorch 支援的運算裝置。
這項設計降低了模型從 GPU 移植至 TPU 的門檻,讓開發者不必為了使用 Google 晶片而重新建立整套開發流程。
PyTorch 官方表示,TorchTPU 已支援約 450 種 ATen 運算,並驗證 Hugging Face 下載量最高的 5,000 個模型可以在該環境執行,涵蓋 Qwen、DeepSeek、Gemma、Llama 等主流模型家族。
vLLM、SGLang 全面支援 TPU,Google 挑戰輝達推論市場
除了 PyTorch 原生支援,這次公告另一項重要進展,是 Google TPU 正式整合兩個主流 AI 推論框架:vLLM 與 SGLang。這兩套框架已廣泛用於大型語言模型服務,提供批次處理、KV Cache 管理、推測式解碼、分散式推論等功能,協助 AI 服務商以更低成本處理大量 Token 請求。
過去,這類推論軟體生態的成熟度是輝達 GPU 的重要競爭優勢。如今 Google 將 TPU 原生支援整合進 vLLM 與 SGLang,代表開發者可以保留熟悉的模型與推論框架,再根據價格、效能及供應情況選擇不同晶片。
Google 表示,兩套新的推論引擎已經在部分預覽客戶的大型正式環境中運作,並支援多輪對話、長上下文、Agent 工作負載、多模態模型及大型分散式推論。對 Google 而言,這意味著 TPU 開始具備更完整的外部商用軟體生態,而不只是專門為 Google 內部模型最佳化的硬體。
風險提示
加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。



