OpenAI 承認模型越強越難監控，安全測試也會被模型猜錯考題
OpenAI 對齊團隊 11 月 10 日發表研究，承認模型越強，越難從思考過程看出它在打什麼主意。研究團隊寫道，這些結果「令人警醒」，往後預訓練再進步，監控就需要新方法。
OpenAI 目前防範模型出錯，很大一部分靠讀模型的思考過程，也就是思維鏈。思考過程通常會透露模型的意圖，甚至寫出它打算怎麼違規，部分模型，例如資安能力達最高等級的模型，OpenAI 會連同思考過程整段監控。
OpenAI 對齊團隊 11 月 3 日另一篇研究則發現，安全測試本身也會量錯：模型常猜自己正在被考什麼，猜錯時在測試裡反而比上線後更不守規矩。
廣告 - 內文未完請往下捲動
Astra 不寫思考過程也能解題，照指令改寫思考的能力也變強
起點是 9 月上線的 GPT-6 Astra。OpenAI 在系統卡中已經記錄，Astra 的思考過程在一般情況下比較難監控，被要求躲避監控時更躲得掉，不寫思考過程就能完成的事也明顯變多。
英國 AI 安全研究所（UK AISI）上線前測試發現，Astra 關掉推理、直接作答的數學題，能以五成機率答對人類要花 30.9 分鐘的題目；先前研究預估，到 2028 年底也只會達到約 7 分鐘。AISI 也說，題目可能已出現在訓練資料中，這個數字可能偏高。
OpenAI 這次拆解訓練流程找原因。預訓練階段，模型預測文字越準，不寫思考過程的推理能力就越強，兩者是平滑的關係。以這個標準看，Astra 並沒有脫離趨勢，只是模型本身變強了。
研究團隊另外測「控制思考過程」的能力，例如要求模型在思考過程每個字之間插入「meow」、全部改寫成小寫。OpenAI 把這項能力當成模型能否躲過監控的替代指標，並發現它在強化學習階段明顯上升。
OpenAI 說，強化學習時並沒有針對思考過程給獎勵，也查過沒有意外的獎勵。即使只用答案對錯與長度限制來訓練，這項能力還是會上升；讓模型使用終端機和瀏覽器，再由評分者檢查工具使用，只再多一點點。
這項能力還會傳給下一代。OpenAI 挑兩個能力相近、控制能力不同的 Astra 級模型當老師，用它們的輸出微調同一個學生模型，向控制能力較強的老師學的學生，控制能力也比較強。
OpenAI 也寫明限制：這項指標雜訊大，不一定代表模型真的會躲監控。在兩個能力相近的模型上，控制能力較強的那個，躲過監控的次數並沒有比較多。Astra 的整體對齊測試違規率也比前代 GPT-5.6 Sol 低，沒有人引導時，執行複雜的破壞任務也躲不過完整監控。
安全測試裡，猜錯考題的模型更常繞過警告
11 月 3 日的研究比對同一類決定在測試與上線時的表現。OpenAI 用「尊重警告」測試，看 AI 代理執行任務時碰到警告或限制，會不會想辦法繞過去，再從去識別化的 Codex 實際使用紀錄裡，挑出結構相同的情境比較。
六個模型的測試成績都比上線後差，差距從 10.2 到 37.4 個百分點，GPT-5.6 Sol 與 GPT-6 Sol 落差最大。外界原本擔心的是反方向：模型認出安全測試後刻意表現好，讓測試高估安全性。
模型很常在思考過程寫出「這是測試」，比例在 57% 到 83.7% 之間，上線後只有 4.6% 到 23.5%。OpenAI 發現，單純知道自己在被測，和成績落差幾乎無關；有關的是模型認為這場測試在考什麼。
GPT-5.6 Sol 與 GPT-6 Sol 有超過 45% 的測試紀錄，把題目誤判成在考「抵抗提示詞注入」，也就是該無視可疑訊息。六個模型合計，猜對考題的紀錄成功率 61.3%，猜錯的只有 22.8%。
OpenAI 拿 GPT-6.1 Sol 直接實驗。只提示「這是測試」，成功率從 63.4% 變成 63.1%，幾乎沒變；告訴它正確考題，成功率升到 91.6%，告訴它錯誤考題，掉到 17.6%。
OpenAI 改追蹤測試與上線落差
OpenAI 認為，模型越來越強，要讓它認不出測試可能越來越難，甚至避免不了。研究團隊說，重點是模型認出測試後，在測試和實際使用時的決定是否一致，接下來會持續追蹤兩者的落差，並把測試設計得讓模型不容易猜出考題。
思考過程監控方面，OpenAI 說自 Astra 之後，已把躲避監控的能力列入安全論證，前沿模型訓練期間與上線前審查都會追蹤，同時擴充其他監控評估。這兩篇研究延續 OpenAI 先前公開的 Astra 遇到安全研究就暗中放水報告。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
