豪賭未來的 AI 能解決技術債！OpenAI 僅用兩名工程師+Codex 完成系統遷移
當 ChatGPT 的使用者突破十億規模，如何確保全球使用者每一次登入、開啟對話甚至讀取設定，都能在毫秒級時間內取得資料。OpenAI 近日公開大型線上儲存平台 Habitat 的工程架構，揭露目前這套系統每秒需要處理超過 7,000 萬次請求（70M+ requests per second），服務每週超過 10 億名使用者，橫跨接近 40 個地理區域，管理的資料量更已突破 500PB。
更驚人的是，OpenAI 早知道 Habitat 原生的 Python 語言並不是最佳解，卻刻意留下技術債。OpenAI 當時做了一個有趣的賭注：等到真的需要重寫時，AI coding model 應該已經強到可以大幅降低遷移成本。結果這個賭注真的成功了。2026 年第二季 OpenAI 只用兩名工程師搭配 Codex 與 GPT-5.5，將整個 Habitat service 從 Python 重寫成 Rust。
根據 OpenAI 內部數據，Rust 版本：CPU 效率提高 6 倍，記憶體效率提高 15 倍。平均延遲與 tail latency 也顯著降低。這可能也是 OpenAI 自己目前最具代表性的「AI 寫程式取代工程工時」案例之一。原本需要耗費大量工程人力的核心基礎設施 migration，如今已經可以由極小規模的工程團隊配合 coding agent 完成。
廣告 - 內文未完請往下捲動
ChatGPT 每一次操作，背後可能都是數百次資料庫請求
Habitat 是 OpenAI 為旗下產品打造的線上儲存平台。使用者登入 ChatGPT、查看 Codex 設定，甚至只是開啟一段新的 ChatGPT 對話，背後都可能需要存取大量不同資料。OpenAI 指出，一次普通的使用者請求，有時可能觸發數百次資料庫呼叫。
這也意味著，使用者實際感受到的速度往往不是平均資料庫延遲，而是其中「最慢的那一次請求」。只要其中一個資料讀取環節變慢，整體產品體驗就會跟著變慢；如果關鍵資料請求失敗，產品甚至可能直接無法運作。
Habitat 最早其實並不是什麼龐大的分散式系統。
2023 年 OpenAI DevDay 推出 GPTs 時，Habitat 最初只是一個簡單的 Python client-side library，連接 Azure Cosmos DB，主要目的就是讓產品工程師不用理解複雜的資料庫底層架構。
包括資料 Schema、Routing、權限驗證、加密、序列化、流量控制與 connection pooling 等問題，都由 Habitat 統一處理。
系統太大，連更新一個功能都可能變成風險
隨著 ChatGPT 與 OpenAI 產品快速成長，到了 2025 年中，原本把 Habitat 做成 client library 的模式開始碰到極限。問題在於，每一次修改 Habitat，都需要讓數十個不同服務同步更新。
OpenAI 曾經希望降低單一地區故障造成的影響，因此計畫把重要資料拆分到不同地區的 Azure Cosmos DB 帳戶。但只是加入新的 routing 邏輯，就必須先修改 Habitat client、加入 feature flag，再等待各個服務更新。整個部署可能花上數天。之後如果想加入新的 shadow testing，又得重新部署一次；發現 bug，再重新來一次。
甚至當所有工作完成準備開啟新功能時，其中一支服務可能因為其他原因 rollback，直接退回舊版、含有 bug 的 Habitat client，反而造成原本想避免的系統故障。
因此 OpenAI 最終決定把 Habitat 從 client library 拆出來，變成一個獨立的中心化服務。所有產品都透過 Habitat service 存取資料，OpenAI 因此可以統一管理部署、監控、權限控制、audit log、資料安全與資料庫連線。
OpenAI 明知道 Python 不夠快，還是選擇先用
有趣的是，即使 OpenAI 已經知道 Python 並不是高吞吐量後端服務最理想的語言，公司當時仍然決定先用 Python 把 Habitat service 做出來。
OpenAI 認為當時最重要的問題不是把 CPU 或記憶體效率壓到最低，而是盡快解除產品團隊的開發瓶頸，先建立穩定的 API 與基礎架構。因此團隊刻意接受這筆「技術債」。
OpenAI 甚至很清楚，當系統規模再放大 100 倍時，Python 的 CPU、記憶體與延遲成本一定無法接受，未來幾乎必然需要重寫。
但 OpenAI 當時做了一個有趣的賭注：等到真的需要重寫時，AI coding model 應該已經強到可以大幅降低遷移成本。結果這個賭注真的成功了。2026 年第二季，Habitat 已經成為 OpenAI 內部按照 CPU core 數量計算的第二大服務，Python 架構也逐漸來到極限。最高峰時，Python 版本 Habitat 曾經支撐超過每秒 2,000 萬次請求。
OpenAI 最終決定正式遷移，但負責整個重寫工作的工程師只有 2 個人。OpenAI 表示，兩名工程師搭配 Codex 與 GPT-5.5，在 2026 年第二季將整個 Habitat service 從 Python 重寫成 Rust。目前 Rust 版本已經承擔約 95% 的正式環境流量，Python 版本則預計在接下來幾週完全退役。
根據 OpenAI 內部數據，Rust 版本：CPU 效率提高 6 倍，記憶體效率提高 15 倍。平均延遲與 tail latency 也顯著降低。這可能也是 OpenAI 自己目前最具代表性的「AI 寫程式取代工程工時」案例之一。原本需要耗費大量工程人力的核心基礎設施 migration，如今已經可以由極小規模的工程團隊配合 coding agent 完成。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
