OpenAI 解散了負責評估「災難級 AI 風險」的 Preparedness Team

Neo
分享
OpenAI 解散了負責評估「災難級 AI 風險」的 Preparedness Team

據《Financial Times》報導,OpenAI 已在 7 月底解散專門負責評估前沿模型重大與災難性風險的 Preparedness Team,原本集中於團隊內的工作,將改由不同資深成員分別負責生物安全、資安等風險領域,並整合進既有研究團隊。

Preparedness Team 是什麼?

OpenAI 在 2023 年 10 月正式成立 Preparedness Team,最初由 MIT 教授 Aleksander Madry 領導。

它的任務並不是處理一般 ChatGPT 內容審核,他們負責評估更極端的 frontier AI 風險,例如模型是否已經具備足以造成重大社會傷害的能力。

廣告 - 內文未完請往下捲動

當時 OpenAI 列出的主要研究方向包括:

  • 網路安全攻擊
  • 化學、生物、放射性與核武風險(CBRN)
  • 大規模說服與操縱
  • AI 自主複製與適應

團隊負責替尚未發布的模型進行能力測試、red teaming,並試圖提前判斷模型能力跨越哪些危險門檻。到了 2025 年,OpenAI 又更新 Preparedness Framework,進一步建立 Capabilities Report 與 Safeguards Report。

不再有單一 Preparedness Team,改成生物、資安各自負責

《Financial Times》引述多名知情人士指出,OpenAI 在 7 月底解散 Preparedness Team 後,並沒有完全停止相關工作。取而代之的是,把不同風險領域交給現有組織中的資深員工,例如生物安全與資安風險分別由對應團隊負責。

原 Preparedness Team 負責人 Dylan Scandinaro 則轉往研究另一個更前沿的安全問題:Recursive Self-Improvement,遞迴式自我改進 AI。也就是 AI 不只是執行任務,而是開始能協助改善自己的能力,甚至訓練下一代模型。

OpenAI 共同創辦人 Greg Brockman 對組織調整的解釋則是,隨著模型技術快速進步,公司需要「更強健的安全措施」,因此正在讓研究、安全與資安工作更深度地整合進模型開發流程。

OpenAI 說是「把安全整合進研究」但安全團隊已連續被拆分

Preparedness Team 的解散並不是 OpenAI 第一次撤掉獨立的 AI 安全組織。

2024 年,OpenAI 解散由共同創辦人 Ilya Sutskever 與 Jan Leike 領導的 Superalignment Team。該團隊原本專門研究如何控制未來可能比人類更聰明的超級智慧系統。

Jan Leike 離職時更公開批評,OpenAI 的「安全文化與流程已經讓位給更亮眼的產品」。

之後,包括 AGI Readiness、Mission Alignment 等不同安全與長期治理團隊也陸續遭到重組或解散。OpenAI 的說法一直是,不再把安全視為獨立的最後檢查程序,而是希望直接整合到研究與產品開發。

今年 7 月,OpenAI Safety Systems 負責人 Johannes Heidecke 也宣布離職。

OpenAI 隨後將安全團隊統一交由研究與安全副總裁 Mia Glaese 管理,當時研究長 Mark Chen 表示,模型訓練速度愈來愈快、發布週期愈來愈短,因此安全工作必須更早進入研究與產品決策。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。