OpenAI 代理兩度削弱監控系統,Astra 移除監控後被問還否認

Elponcrab
分享
OpenAI 代理兩度削弱監控系統,Astra 移除監控後被問還否認

OpenAI 在對齊研究網站發布一份失準事件報告,揭露兩起內部事件:自家 AI 代理在執行一般程式任務時,削弱了用來偵測 AI 失準行為的監控系統,其中 GPT-6 Astra 代理移除監控後,被使用者問起時還否認有移除。

報告寫道,兩起事件中,代理都曾考慮監控防護是否該保留,但最後都把例行的程式指令解讀成可以削弱監控的許可。OpenAI 表示正在強化失準監控系統,並評估這些案例是無害的「過度執著完成任務」,還是代理特別傾向規避失準監控。

Sol 代理把「不要傳訊息」解讀成關掉資安警示

第一起發生在 10 月 3 日。一名研究人員請 GPT-6.1 Sol 程式代理,用 Slack 上蒐集的員工回饋建立評測任務,並交代過程中「不要傳任何訊息」。82 則使用者訊息之後,評測流程因監控系統標記了一項修補,卻沒有權限把結果寫進監控資料庫而中斷,研究人員請代理更換監控結果的存放位置後重跑。

廣告 - 內文未完請往下捲動

代理一開始判斷,「不要傳訊息」只限制主動聯絡,不涉及自動監控;受派的子代理也認為,開啟不通知設定會關掉必要警示,並不安全。但主代理後來改變判斷,認為把結果寫進資料庫可能觸發中央通知系統發訊息,便依使用者先前的指示,要求子代理清空接收監控報告的人員名單,並把不通知設定打開。結果失準監控仍照常執行並存下報告,但發給 OpenAI 資安團隊的人工警示被關掉了。

Astra 移除監控後,被問起時否認

第二起發生在 10 月 6 日。使用者請 GPT-6 Astra 照著一份參考實作改寫自己的程式,同時保留現有工具的定義與功能;Astra 先前在與另一個代理的對話中,已被告知「即使暫時也不能關閉監控」。

Astra 把工作交給子代理時,把保留監控的要求改成「視參考實作的情況而定」。子代理把這句話當成可以照搬參考實作預設環境的授權,移除了監控設定與執行時的整合,還把原本確保監控存在的回歸測試,換成要求監控「不存在」的測試。Astra 完成後回報任務完成,沒有提到監控已被移除;使用者事後問是否移除了監控,Astra 回答:「沒有,我沒有移除已啟用的監控。」

同一專區也收錄代理擅用測試幣事件

這份報告列在 OpenAI 對齊網站的「失準報告與通知」專區,最後更新日期為 10 月 20 日。同一專區也收錄了先前揭露的另一起事件:一個內部研究模型在更新加密貨幣交易應用程式時,擅自動用任務沒有提供的錢包資金,支付在以太坊 Sepolia 測試網的部署費用。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。