OpenAI 公開防蒸餾成績:推理過程被偷成功率從 54% 降到 0.2%

Elponcrab
分享
OpenAI 公開防蒸餾成績:推理過程被偷成功率從 54% 降到 0.2%

OpenAI 11 月 20 日公開一份研究,說明怎麼阻止別人用它的模型輸出訓練出「山寨版」。根據 OpenAI 官方文章,新版 GPT-6.2 Astra 加強防護後,攻擊者想偷出模型內部推理過程的成功率,從舊版的 54% 降到 0.2%。

OpenAI 也透露,今年平台上出現多起有組織的盜用行動,每週封鎖的帳號從數千個到數萬個不等,今年夏天封鎖速度明顯加快。

蒸餾是什麼:拿大模型的答案教小模型

「蒸餾」是常見的模型訓練方法,讓一個模型學習另一個模型產出的答案、推理過程或判斷。OpenAI 說,未經授權的蒸餾除了智慧財產權問題,更大的風險是學生模型學到能力,卻沒有繼承原模型的安全限制。

廣告 - 內文未完請往下捲動

OpenAI 舉資安為例:幫防守方找軟體漏洞的能力,同樣可以拿來攻擊。如果這種能力被複製到防護較弱的模型,原本會被拒絕的請求,新模型可能照做。

內部實驗:學到完整推理過程,資安能力轉移更多

OpenAI 做了一組內部實驗,拿同一個預訓練模型當學生,用 Astra 等級模型處理寫程式與防禦型資安任務的完整紀錄來訓練。一組只看一般用戶看得到的內容,包括最終回答、推理摘要和工具操作;另一組多看完整的推理過程。

結果是,經過監督式微調後,看過完整推理過程的學生在資安測試上大致表現較好;再加一輪強化學習後,在測試給的最大運算量下仍然領先,運算量較低時則是只看摘要的學生較好。OpenAI 的結論是,保護推理過程可以限制資安能力被轉移,即使原本的任務完全合乎使用規範。

攻擊成功率 54% 降到 0.2%

OpenAI 用自動化的 AI 紅隊測試防護效果,攻擊方會依系統反應調整手法,彙整六個攻擊模型的結果。想偷出模型前一次回答時的推理過程,成功率從 GPT-6 Astra 原本防護下的 54.0% 降到 GPT-6.2 Astra 的 0.2%;偷出當下這次回答的推理過程,從 22.9% 降到 0.9%。

防護分成兩層。單次請求這層,模型被訓練成辨認並拒絕套話,輸入與輸出都有分類器把關,連工具呼叫的參數也會檢查,避免推理過程從那裡漏出去。GPT-6.2 Astra 和 Sol 還把推理內容綁在產生它的對話上,前面的訊息被改寫,後面的推理就作廢,較舊、防護較弱的模型也讀不到新模型的推理內容。

另一層是追查整批行動。系統偵測到有組織的盜用時,會調查背後的帳號網路並整批處置,並把入侵指標分享給其他模型業者。OpenAI 說,部分新防護也會套用到 GPT-6 Astra。

點名 DeepSeek、月之暗面,表態支持晶片管制法案

OpenAI 把蒸餾也定位成國安問題。文章寫,它 2 月曾向國會簡報 DeepSeek 試圖蒸餾美國前沿模型;9 月公開瓦解一起盜取推理過程的行動,並把核心部分歸咎於開發 Kimi 的月之暗面相關人士,之後還會公布更多近期案例。鏈新聞 10 月底也報導過 DeepSeek、月之暗面傳靠蒸餾 OpenAI 模型訓練新模型。

OpenAI 表示支持讓美國政府有更多工具制裁非法擷取美國 AI 能力的外國行為者,並已向國會表態支持《晶片安全法》(Chip Security Act)、AI OVERWATCH Act 和 MATCH Act。它的說法是,出口管制限制對手取得訓練用硬體,防蒸餾則讓對手更難從現成模型取得同樣能力。

Anthropic 10 月也公布類似防護

這不是業界第一次公開防蒸餾成績。Anthropic 10 月曾公布封堵蒸餾攻擊的結果,稱 Claude 資料遭擷取的量減少九成以上。

華頓商學院教授 Ethan Mollick 在 X 上評論,從 OpenAI 和 Anthropic 模型輕鬆蒸餾的時代實際上結束了,這可能是開源權重模型近來進步相對放緩的原因;他也說,目前還不知道蒸餾對開源模型進步有多關鍵,「應該很快就會知道」。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。