AI文章連日文都藏不住了?日本作家實測 Pangram:Gemini 生成、真人文章皆 100% 命中
AI 寫的文章真的能被抓出來嗎?先前 Substack 導入 AI 文章偵測工具 Pangram,引發付費內容是否遭 AI 大量代筆的討論,如今日本媒體也實際拿「日文」進行測試。
(你讀的電子報都是 AI 寫的?Substack 推出 AI 偵測工具,對抗「Claudefishing」假人類創作)
日本《現代ビジネス》作者小林雅一近日實測 Pangram,分別放入 Google Gemini 生成的日文,以及自己在生成式 AI 普及以前撰寫的文章。結果前者被判定為「100% AI 生成」,後者則被判定為「100% 人類撰寫」。
雖然僅有兩個樣本,遠不足以證明 Pangram 對日文也具有官方宣稱的 99.99% 準確率,但至少顯示:即使 Pangram 目前主要以英文服務對外提供,它也已具備辨識日文 AI 文章的能力。
Pangram 怎麼抓 AI?開發團隊只透露「大量微弱訊號」
Pangram 先前因 Substack 導入而受到關注。相較過去 AI Detector 容易把真人文章誤判為 AI,Pangram 宣稱其辨識準確率可達 99.99%,並特別降低 false positive(偽陽性)的發生機率。
至於它究竟如何辨識 AI 文章?
Pangram 開發者給出的解釋相當模糊,只表示系統會結合「AI 生成文章所發出的大量微弱訊號」進行判斷。
《現代ビジネス》作者小林雅一認為,這個答案實際上幾乎沒有透露任何技術細節,真正的辨識方法很可能涉及公司的商業機密。
這點其實相當重要。AI Detector 長期面臨的一個問題,就是使用者很難知道模型究竟根據什麼特徵判定一篇文章由 AI 生成。因此即使準確率提高,判定方法的不可解釋性依然存在。
日本作者實測:Gemini 日文文章被判「100% AI」
Pangram 目前主要以英文服務對外提供,但小林雅一發現,它實際上也能處理日文。
第一項測試中,他要求免費版 Google Gemini 生成一篇日文文章,再將文字輸入 Pangram。
結果 Pangram 給出的判定為:100% AI 生成。
接著,小林雅一換上一份可以確定由真人完成的文章,
:他在 2015 年出版的《AIの衝撃 人工知能は人類の敵か》後記原稿。
ChatGPT 直到 2022 年 11 月才公開推出,因此一份 2015 年完成的原稿至少可以排除使用 ChatGPT 等當代大型語言模型生成的可能性。
Pangram 對這篇文章給出的結果則完全相反:100% 人類撰寫。
也就是說,在這次非常小規模的日文測試中,Pangram 同時成功辨認出了 Gemini 生成內容與生成式 AI 浪潮以前的人類原創文章。
但別急著說「日文準確率也是 100%」
由於 Pangram 免費試用只能進行兩次檢測,小林雅一沒有繼續購買付費版進行更多測試。他自己也特別提醒,不能根據區區兩個樣本,就對 Pangram 的日文辨識能力做出決定性評價。
小林雅一進一步推測,即使將 ChatGPT、Claude,乃至這些模型付費版本生成的日文文章放進 Pangram,可能也能正確辨識。
比「抓 AI」更麻煩的是:人類+AI 的灰色地帶
這次測試也讓 AI Detector 的問題變得更有意思。
如果只是 Gemini 直接生成一整篇文章,辨識 AI 或許相對容易。但今天真正的內容工作流程往往不是如此。
作者可能自己完成採訪與研究,讓 Claude 整理資料;自己建立文章論點,讓 ChatGPT 改寫句子;或者先讓 AI 生成初稿,再由真人大幅修改。
內容產業真正面臨的問題已經逐漸從:「這是不是 AI 寫的?」
變成:「這篇文章究竟有多少工作是 AI 完成的?」
Pangram 特別之處就在於,它並不只提供 AI/Human 的二元判斷,也宣稱能估算同一份文件中 AI 與真人文字混合的比例。
這也讓它被 Substack 採用後格外敏感。
付費創作者為什麼更怕 AI Detector?
《現代ビジネス》進一步指出,Substack 導入 Pangram 後,一些過去受到歡迎的文章被判定大量依賴 AI,尤其當作者向讀者收取訂閱費時,更容易引發「付錢購買真人作品,結果卻得到 AI 生成內容」的不滿。
不過,原文並未提供完整統計、具體創作者名單或事件規模,因此目前還不能據此判定 Substack 上究竟有多少付費內容是由 AI 大量生成。
AI 已經成為寫作者的日常工具後,「使用 AI」本身很難再成為一條清楚的紅線。
用 AI 找錯字、整理訪談逐字稿、協助研究,和讓 Gemini 直接生成一篇文章,都是「用了 AI」,但對讀者而言顯然不是同一件事情。
風險提示
加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。



