AI文章連日文都藏不住了?日本作家實測 Pangram:Gemini 生成、真人文章皆 100% 命中

Neo
分享
AI文章連日文都藏不住了?日本作家實測 Pangram:Gemini 生成、真人文章皆 100% 命中

AI 寫的文章真的能被抓出來嗎?先前 Substack 導入 AI 文章偵測工具 Pangram,引發付費內容是否遭 AI 大量代筆的討論,如今日本媒體也實際拿「日文」進行測試。

(你讀的電子報都是 AI 寫的?Substack 推出 AI 偵測工具,對抗「Claudefishing」假人類創作)

日本《現代ビジネス》作者小林雅一近日實測 Pangram,分別放入 Google Gemini 生成的日文,以及自己在生成式 AI 普及以前撰寫的文章。結果前者被判定為「100% AI 生成」,後者則被判定為「100% 人類撰寫」。

廣告 - 內文未完請往下捲動

雖然僅有兩個樣本,遠不足以證明 Pangram 對日文也具有官方宣稱的 99.99% 準確率,但至少顯示:即使 Pangram 目前主要以英文服務對外提供,它也已具備辨識日文 AI 文章的能力。

Pangram 怎麼抓 AI?開發團隊只透露「大量微弱訊號」

Pangram 先前因 Substack 導入而受到關注。相較過去 AI Detector 容易把真人文章誤判為 AI,Pangram 宣稱其辨識準確率可達 99.99%,並特別降低 false positive(偽陽性)的發生機率。

至於它究竟如何辨識 AI 文章?

Pangram 開發者給出的解釋相當模糊,只表示系統會結合「AI 生成文章所發出的大量微弱訊號」進行判斷。

《現代ビジネス》作者小林雅一認為,這個答案實際上幾乎沒有透露任何技術細節,真正的辨識方法很可能涉及公司的商業機密。

這點其實相當重要。AI Detector 長期面臨的一個問題,就是使用者很難知道模型究竟根據什麼特徵判定一篇文章由 AI 生成。因此即使準確率提高,判定方法的不可解釋性依然存在。

日本作者實測:Gemini 日文文章被判「100% AI」

Pangram 目前主要以英文服務對外提供,但小林雅一發現,它實際上也能處理日文。

第一項測試中,他要求免費版 Google Gemini 生成一篇日文文章,再將文字輸入 Pangram。

結果 Pangram 給出的判定為:100% AI 生成。

接著,小林雅一換上一份可以確定由真人完成的文章,

:他在 2015 年出版的《AIの衝撃 人工知能は人類の敵か》後記原稿。

ChatGPT 直到 2022 年 11 月才公開推出,因此一份 2015 年完成的原稿至少可以排除使用 ChatGPT 等當代大型語言模型生成的可能性。

Pangram 對這篇文章給出的結果則完全相反:100% 人類撰寫。

也就是說,在這次非常小規模的日文測試中,Pangram 同時成功辨認出了 Gemini 生成內容與生成式 AI 浪潮以前的人類原創文章。

但別急著說「日文準確率也是 100%」

由於 Pangram 免費試用只能進行兩次檢測,小林雅一沒有繼續購買付費版進行更多測試。他自己也特別提醒,不能根據區區兩個樣本,就對 Pangram 的日文辨識能力做出決定性評價。

小林雅一進一步推測,即使將 ChatGPT、Claude,乃至這些模型付費版本生成的日文文章放進 Pangram,可能也能正確辨識。

比「抓 AI」更麻煩的是:人類+AI 的灰色地帶

這次測試也讓 AI Detector 的問題變得更有意思。

如果只是 Gemini 直接生成一整篇文章,辨識 AI 或許相對容易。但今天真正的內容工作流程往往不是如此。

作者可能自己完成採訪與研究,讓 Claude 整理資料;自己建立文章論點,讓 ChatGPT 改寫句子;或者先讓 AI 生成初稿,再由真人大幅修改。

內容產業真正面臨的問題已經逐漸從:「這是不是 AI 寫的?」

變成:「這篇文章究竟有多少工作是 AI 完成的?」

Pangram 特別之處就在於,它並不只提供 AI/Human 的二元判斷,也宣稱能估算同一份文件中 AI 與真人文字混合的比例。

這也讓它被 Substack 採用後格外敏感。

付費創作者為什麼更怕 AI Detector?

《現代ビジネス》進一步指出,Substack 導入 Pangram 後,一些過去受到歡迎的文章被判定大量依賴 AI,尤其當作者向讀者收取訂閱費時,更容易引發「付錢購買真人作品,結果卻得到 AI 生成內容」的不滿。

不過,原文並未提供完整統計、具體創作者名單或事件規模,因此目前還不能據此判定 Substack 上究竟有多少付費內容是由 AI 大量生成。

AI 已經成為寫作者的日常工具後,「使用 AI」本身很難再成為一條清楚的紅線。

用 AI 找錯字、整理訪談逐字稿、協助研究,和讓 Gemini 直接生成一篇文章,都是「用了 AI」,但對讀者而言顯然不是同一件事情。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。