Google 把 Gemini「凍」進矽晶片!最新 Frozen v2 效能上看 TPU 6 至 10 倍

Co2
分享
Google 把 Gemini「凍」進矽晶片!最新 Frozen v2 效能上看 TPU 6 至 10 倍

Google 正開發代號「Frozen v2」的新伺服器晶片,藉此提升 Gemini 推論效率,Google工程師預估,在相同耗電下每瓦可處理的詞元(token)數量將達現有 TPU 的 6 至 10 倍,目標 2028 年部署。消息一出,Alphabet 週一股價收漲 1.52%。

把 Gemini 架構刻進矽晶片!Frozen 晶片將提高運算效率

根據 The Information 報導,這款晶片最大特點,是把 Gemini 模型架構的部分內容嵌入矽晶片硬體,如此晶片在回答使用者問題時所需的運算次數,以及晶片內部必須搬移的資料量都會下降,進而提升推論效率。

晶片代號「Frozen(凍結)」正是把模型的部分運算邏輯「凍」進矽晶片的隱喻,Google 工程師預估,在相同電力消耗下,這款晶片的減少的 token 將是 TPU 的 6 至 10 倍。不過目前這個數字僅屬預估值,而非實測效能。

廣告 - 內文未完請往下捲動

Frozen v2 僅供內部使用,產量遠低於 TPU

報導指出,Google 暫不打算以 TPU 的規模大量生產 Frozen ,此款晶片並非取代用途較廣泛的 TPU,目前也將 Frozen v2 部分視為一次技術試作。

因這款晶片只有在 Google 沿用相同底層架構時,才能與未來的 Gemini 模型相容;一旦 Gemini 架構出現重大調整,晶片恐面臨過時風險,也因為設計綁定特定架構,Frozen v2 預料不會成為對外銷售的產品。

Google 月付 SpaceX 10 億美元救急,算力荒逼出自研解方

這項專案部分是為了緩解嚴重的內部算力短缺,這個缺口已在公司內部引發摩擦,甚至迫使 Google Cloud 婉拒客戶生意。就在上個月,Google 已同意每月支付 SpaceX 近 10 億美元,以補足算力缺口。

Google AI 事業面臨挑戰!前有對手挖角、後有中國追趕

Google 的 AI 布局還面臨迫切的挑戰,下一代 Gemini Pro 發布時程延後,數名資深研究員被競爭對手挖角,中國模型也逐漸吞食美國企業市場,Moonshot AI 與阿里巴巴上週末最新發布的模型,已在市場掀起討論。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。