OpenAI 用 GPT-5.6 Sol 優化自己,服務成本降 20%

Elponcrab
分享
OpenAI 用 GPT-5.6 Sol 優化自己,服務成本降 20%

OpenAI 公布一項不太一樣的成果:它把自家模型 GPT-5.6 Sol 拿來優化「模型自己」的運行效率。根據 OpenAI 官方部落格〈How GPT-5.6 fuses frontier intelligence with frontier efficiency〉,在模型部署之後,OpenAI 讓 GPT-5.6 Sol 動手改善自身的服務效率,結果是推論的服務成本降低 20%、每秒生成 token 的效率提升逾 15%。

用 Codex 讓模型自己改寫生產環境的 GPU 運算核心

這 20% 成本下降的來源,是 GPU 運算核心(kernel)的優化。OpenAI 表示,透過 Codex,GPT-5.6 Sol 自主改寫並優化了 OpenAI 生產環境中的核心程式,也就是實際執行模型數學運算的那層底層程式碼。之所以做得到,是因為 GPT-5.6 本身就被訓練成能以 Triton 與 Gluon 撰寫和改進運算核心,這兩者都是 OpenAI 維護的開源 GPU 程式語言。換句話說,模型不是在調整自己的權重或能力,而是在優化「讓自己跑起來」的基礎設施。

兩項具體成果:核心優化省 20%、推測解碼再增 15%

OpenAI 列出兩項量化成果:其一是來自生產環境 GPU 核心改進的 20% 服務成本下降;其二是透過改良推測解碼(speculative decoding),讓 token 生成效率提升逾 15%。推測解碼是一種同時預測並生成多個 token、藉此加速推論的技術。OpenAI 說,這些橫跨整個技術堆疊的優化會相互疊加,讓模型在「成本與智慧」曲線上的每一個點都更有效率。這也把「用 AI 來降低 AI 的運行成本」變成一個實際落地而非概念性的做法。

廣告 - 內文未完請往下捲動

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。