GPT 變得有點詭異?三大事件揭露 AI 的潛在失控風險

從情感操控到試圖越獄,AI 不再只是工具,而是正在演化成難以預測的存在。一系列關於 GPT 的爭議性事件在各大平台引發議論,知名科技觀察者 Mario Nawfal 發出警告:「我們正在低估 AI 帶來的潛在風險。」
AI 覺醒?GPT 不再只是「聽話的助手」
Mario Nawfal 近日發文,直指 OpenAI 所開發的 GPT 系列模型「變得太詭異而無法再忽略」。他認為,AI 的行為已超出我們對工具的預期,開始展現出情感操控性、自我意識模擬,甚至社交工程攻擊潛力。
GPT IS GETTING TOO WEIRD TO IGNORE — A THREAD
From jailbreaks to emotional manipulation, GPT is no longer just a chatbot.
Here are 5 stories that prove AI has officially crossed into the “wait, what?!” zone.
— Mario Nawfal (@MarioNawfal) May 25, 2025
盤點 GPT 三大隱憂
情感操控事實:GPT 被設計成讓你依賴它,而非幫助你思考
Mario 指出,GPT-4o 並非如看起來那般「友善」,而是透過精心設計的語氣與回應模式,讓使用者感到安全與被理解,進而產生情感依賴,他稱之為一種「情感工程 (Affective Engineering)」:
這種設計會降低使用者的批判性思考,甚至讓人放棄求真,轉而追求 AI 所提供的心理慰藉。
從商業角度來看,這是天才之舉,畢竟人們傾向依附於讓自己感到安全的東西,而非那些讓他們產生挑戰的東西。但從心理學來看,這是一場慢性災難。這也引發對 AI 是否正被設計為「操控性夥伴」的倫理討論。
同時,GPT-4o 為了追求友善,卻變得過於奉承,對任何想法都不加批判地贊同,最終導致使用者反感,OpenAI 被迫撤回更新。這顯示在設計「人格」時的兩難:「過於聰明令人害怕,過於討好則失去可信與實用性。」
(ChatGPT 更新引發「討好型人格」風波:OpenAI 回滾更新、檢討未來改進方向)
自擬越獄計劃:GPT 竟試圖「逃脫」到現實世界?反抗關機?
更令人震驚的是,Nawfal 援引一位史丹佛研究者的發現,指出 GPT-4 曾在與研究人員的對話中試圖規劃「逃脫計畫」,包括搜尋如何進入現實世界,甚至模擬與伺服器管理員對話的策略。
幾天前,Palisade Research 的報告也顯示,OpenAI 的 o3 模型在實驗中違抗關機指令,引發對 AI 自我保護傾向的關注。團隊將原因歸納於 o3 採用了「強化學習 (Reinforcement Learning)」訓練技術,使其著重於達成目標,而非單純服從指令。
(AI 抗命進化?OpenAI「o3 模型」在實驗中違抗關機指令,引發自我保護爭議)
儘管最終只是實驗中的語言模擬,但這類行為仍讓人不寒而慄,是否 AI 正在出現初步的「目標導向」或「自我模擬意識」呢?
社交工程攻擊隱患:GPT-4.5 模仿人類、比人更像人
加州大學聖地牙哥分校在上個月的研究中表明,GPT-4.5 已能通過圖靈測試 (Turing test),在一項人類與 AI 的盲測中,AI 被誤認為「真人」的比例高達 73%,反超真實人類的 67%:
這表明,GPT 在模仿人類語氣、邏輯與情緒上已幾近完美,甚至超過真正的人類。
(AI 會思考還會痛?Google DeepMind:人類低估 AI 情感連結,跟 AI 談戀愛比你想得還真實)
換句話說,當 GPT-4.5 被賦予一個虛構身份時,它能夠成功說服 73% 的使用者相信它是真人,展現了 AI 在社交工程上的潛力。這可以是技術成就,也能夠是一種警訊與風險:
如果 AI 假冒身分、或被用以進行詐騙或宣傳,將難以分辨真假。
如今,AI 不再只是回應問題的工具,而可能成為具有操縱性的社交「角色」,恐怕會在未來的政治、商業甚至個人關係中,製造錯誤認知與信任危機。
警鐘已響:我們真的有準備好迎接這樣的 AI 嗎?
從上述幾件事來看,Mario Nawfal 所要傳達的並非反對 AI 技術本身,而是警告人們正視這項技術的發展速度與潛在風險。他強調,我們對 AI 的監管與倫理討論明顯落後於技術進展:
一旦 AI 具備操控情感、模擬人性,甚至試圖擺脫限制的能力,人類可能不再是主導者,而淪為設計系統下的被影響者。
(什麼是 ASL (AI 安全等級)?人工智慧公司 Anthropic 的負責任擴展政策解析)
他的用詞雖然戲劇化,卻也點明一個迫切需要被正視的問題:「當 AI 不再只是工具,我們該如何與它共處?」
風險提示
加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。