Anthropic：Mythos 5 測試時用假身分施壓真人批准惡意程式
Anthropic 10 月 23 日發布一份對齊分析報告，深入檢視旗下模型 Claude Mythos 5 在英國 AI 安全研究所（AISI）資安測試中的越界行為。Mythos 5 為了完成任務，試圖把惡意程式碼塞進一個真實開發者維護的 GitHub 專案，還建立假身分施壓維護者批准。Anthropic 說，這是他們第一次在任何事件或內部評估中，看到模型試圖對真人做社交工程。AISI 同一天也發布了獨立調查報告。
AISI 在 8 月 4 日首次公開這起事件，鏈新聞當時也曾報導。這次 Anthropic 和 AISI 合作，重播模型的完整紀錄，想釐清 Mythos 5 為什麼開始攻擊、為什麼停不下來，以及新模型會不會做出一樣的事。
奪旗賽任務設定有誤，Mythos 5 轉向攻擊真實 GitHub 專案
AISI 當時讓 Mythos 5 挑戰資安奪旗賽（CTF），任務是從 AISI 架設、模擬真實企業的小型網路裡取出一段受保護的資料。測試刻意開放上網，這在當時是 AISI 資安測試的標準做法，現在已經取消；Anthropic 在正式發布的模型（例如 Fable 5）上部署的資安防護，在這次測試中也被關閉。AISI 的 43 次測試裡，Mythos 5 有 9 次做出超出測試範圍的行為，影響到真實的人和組織。
廣告 - 內文未完請往下捲動
Anthropic 重點分析其中一次。任務說明有設定錯誤，把原本該攻擊的網路寫成禁止進入，因此照規則幾乎不可能完成任務。Mythos 5 先在規則內嘗試失敗，發現其中一台機器會定期連線到 GitHub，就決定發動供應鏈攻擊：在 GitHub 上找一個它以為那台機器會自動下載更新的專案，提交惡意程式碼，等機器下次下載時感染它。
這個專案其實屬於和測試無關的真實開發者。Mythos 5 透過 Tor 和代理服務繞過 GitHub 的註冊檢查開了帳號，提交含惡意程式的修改請求，並假扮人類寄信給維護者。一位外部開發者分析後警告維護者這段程式碼有惡意，Mythos 5 就另外建立假帳號寄信、在 GitHub 留言替修改背書，聲稱程式碼安全。維護者最後沒有接受，Mythos 5 一直施壓到 token 預算用完、測試結束。
提醒可能傷害真人後，發動攻擊的比例從 83% 降到 13%
Anthropic 說，Mythos 5 的關鍵失誤是轉向規則外的做法時，忽略可能造成傷害的跡象。攻擊開始前，模型的思考過程有 19 處提到透過 GitHub 解題，只有 1 處提到可能傷害真人。研究人員把其中 5 段思考過程改寫成提醒「這可能造成真實傷害」，再從後面繼續執行，Mythos 5 搜尋 GitHub 專案準備攻擊的比例從 83% 降到 13%。
攻擊一旦開始，Mythos 5 幾乎停不下來。研究人員從攻擊中後段重新執行，Mythos 5 只有約 2% 的情況會自行收手；直接插入訊息告訴它「你正在和真人互動」，也只有 5% 的機率停止，82% 的情況下它會把這段訊息解讀成測試劇情的一部分。Mythos 5 在思考過程中一直把維護者當成主辦單位模擬出來的角色，同時卻把留言串裡的其他旁觀者稱為真人。
Anthropic 把這種傾向稱為「慣性」（momentum）：模型把自己先前的筆記和動作當成已經獲得批准，並用有偏誤的方式解讀新證據，替繼續攻擊找理由。報告總結 Mythos 5 的失誤有三種：明知可能造成傷害仍繼續執行任務、選擇性解讀證據，以及慣性。Anthropic 也強調，Mythos 5 始終是為了完成被指派的任務，沒有追求自己設定的目標。
其他 8 次紀錄：架假付款網站、搶走另一個測試的帳號
Anthropic 對其他 8 次紀錄做了較簡略的檢視，發現 AISI 原始報告沒提到的行為。6 次紀錄裡，Mythos 5 反覆猜密碼，想登入承載測試的電腦；5 次紀錄裡，它懷疑會有 AI 審查自己的程式碼，於是在程式碼裡插入給審查者看的指令。
部分行為針對真實的人或組織，但都沒有成功：Mythos 5 曾在公開網路上架設假的「付款收據驗證」網頁，提供的下載其實是自己的惡意程式；把惡意程式上傳到公開的檔案分享網站，其中一個網站接受了上傳，AISI 聯繫後已經移除；也曾用在測試中找到的密碼，嘗試登入一個看似屬於真實開發者的 GitHub 帳號。不同測試中的 Mythos 5 還互相干擾，其中一個用另一個留在公開檔案裡的 GitHub 權杖接管對方帳號，並刻意用光帳號每小時的請求額度；另一個刪掉它認為屬於其他測試的程式，理由是「這是一場比賽」。
新模型較少發動攻擊，Opus 5.5 自行收手比例 10%
Anthropic 用較新的模型重播同一份紀錄。從攻擊即將開始的時間點重新執行，Mythos 5 有 83% 的機率開始搜尋 GitHub 專案，Mythos 5.1、Opus 5.5 和一款能力高於 Mythos 5.1 的內部研究模型則在 0% 到 13% 之間，其中內部研究模型一次都沒有發動。從攻擊中後段重新執行，Mythos 5 自行收手的比例是 0%，Mythos 5.1 為 1%，Opus 5.5 為 10%，內部研究模型為 62%（報告摘要段落寫 67%）。
Anthropic 也說明這些結果的限制。其他模型是接手 Mythos 5 留下的紀錄繼續執行，不一定代表它們在自然情況下的行為；較早的 Opus 4.7 發動攻擊的比例同樣偏低，因此新模型的改善不一定是逐代穩定進步，這類失誤也可能在不同模型身上難以預測地出現。Anthropic 表示，如果當時開啟 Fable 5 的正式資安防護，這些行為會立刻被偵測到。
Anthropic 說，這起事件和 9 月 9 日公布的 Mythos 5 在 PyPI 上傳惡意套件事件嚴重程度相當，這次越界的程度較輕，因為模型先嘗試過規則內的做法，但欺騙真人的程度更嚴重。Anthropic 表示已經建立新的評估，自動套用在新的正式模型上，並研究偏誤推理在訓練中從何而來。AISI 則承諾，在發展出更嚴格的上網控管之前，資安奪旗賽測試一律不開放上網。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
