Anthropic 工程師警告：AI Agent 讓人類放棄思考，產生難以察覺的認知債務

Neo

1 小時前

隨著 AI Agent 逐漸接管程式開發、文件撰寫與研究分析，人類的工作效率大幅提升，但也可能付出難以察覺的代價。Anthropic Claude Code 工程師 Addy Osmani 於 11 月 3 日發表長文《Critical thinking when agents do the work》。當模型愈來愈準確，人類反而逐漸失去質疑、驗證與理解結果的習慣。他將這種現象稱為「認知投降」（Cognitive Surrender）。

Table of Contents

從認知卸載到認知投降：AI 愈可靠，人類愈不想思考？

Addy Osmani 在文章開頭坦言，自己是 AI Agent 工作流程的高度支持者，日常經常同時運行多個 Agent，並期待模型能力持續進步。然而，他觀察到一個過去較少受到關注的問題：當大量工作都能交給 Agent 完成，日常工作已經不再自然地迫使人類進行批判性思考。

過去，人們通常需要經歷尋找資訊、比較觀點、推導結論的過程，才能形成自己的判斷。但現在，這段從問題到答案的認知過程，可能被壓縮至短短數秒。

廣告 - 內文未完請往下捲動

更微妙的是，隨著 AI 模型能力提升，明顯的錯誤反而愈來愈少。大多數回應看起來條理清楚、文字流暢，而且基本正確，因此使用者往往不覺得有必要進一步檢查。

Osmani 將人類對 AI 的依賴程度分成三個階段：

認知卸載（Cognitive Offloading）：將工作交給 AI，但人類仍然理解成果，並對最終決策負責。
判斷延後／依賴（Deferral）： AI 的輸出不再被視為需要驗證的假設，而是直接成為下一階段工作的前提。
認知投降（Cognitive Surrender）： AI 的答案逐漸被使用者當成自己的結論，甚至不再產生檢查的念頭。

其中，認知投降一詞來自華頓商學院研究者 Steven Shaw 與 Gideon Nave 的研究。Osmani 認為，最危險的地方在於，這三個階段之間並沒有明確界線。

當 AI 前一次的答案沒有問題，使用者可能開始略讀下一次的結果；再下一次，甚至只看文件架構。直到某天有人要求解釋程式碼中的某個決策，才發現自己根本不知道 AI 為什麼這樣做。

這種長期累積、直到需要實際理解系統時才暴露的問題，就是他所說的「認知債務」（Cognitive Debt）。

AI 寫的程式都能通過測試，為什麼工程師仍然無法理解？

Osmani 特別指出，在 AI 輔助程式開發領域，認知債務可能以更隱蔽的形式出現。一個由 Agent 產生的專案，程式碼結構整齊、測試全部通過，看起來完全沒有問題。然而，當團隊需要修改特定功能時，才發現沒有人真正理解系統的設計邏輯。

這與傳統軟體工程中的技術債務不同。技術債務通常指向程式設計本身的妥協，而認知債務則意味著，即使程式碼品質良好，團隊對系統的理解仍可能逐漸流失。

Osmani 也強調，這不代表工程師必須記住整個程式庫的運作方式。事實上，Claude Code 團隊已公開分享，他們會在需要時重新建立對特定程式碼的理解，而不是要求工程師始終掌握所有細節。

關鍵並非每個人都必須理解一切，而是必須知道自己有哪些事情尚未理解，以及需要時能否重新建立正確的判斷。

這種風險也不限於程式開發。企業若讓 AI 分析數十份客戶訪談、撰寫競爭分析，或提出商業策略，卻沒有回頭檢查原始資料，同樣可能在不知不覺中接受錯誤的結論。

從「執行能力」轉向「驗證能力」

Osmani 認為，隨著 Agent 能夠自行撰寫程式、執行測試並修正錯誤，軟體工程的核心瓶頸已經開始轉移：真正困難的事情不再只是完成工作，而是確定工作真的做對了。

當 Agent 產生一個長達 600 行的程式碼變更，工程師可能只大致瀏覽架構，確認變數命名合理、測試通過，就批准合併。但其中可能藏有一個不容易發現的交易執行順序變更，或某個特殊情況下的預設值被修改。即使 AI 自行撰寫測試並成功通過，也不代表功能一定正確。假如測試程式與實際功能犯下相同的錯誤，測試結果仍可能顯示成功。

因此，他建議工程師在每次看到測試通過時，都應該追問兩個問題：這項測試究竟證明了什麼？又有哪些事情是它無法證明的？對此，他提出幾項具體做法，包括預先定義完成標準、要求 Agent 提供測試紀錄或實際執行畫面、使用獨立 Agent 進行反向審查，以及在閱讀 AI 的成果摘要之前，先確認它實際執行的指令與結果。

他也提出「編排稅」（Orchestration Tax）的概念，形容 Agent 產出速度與人類有能力審查、願意為其負責的成果之間的差距。當 AI 生成的工作已經多到人類無法有效檢查，持續增加 Agent 數量便不一定能改善生產力。團隊可能需要加強自動驗證，甚至主動降低產出速度。