跳至主要內容
Lessonby Job Pocket
Skills 與 MCP・@your.engineer.ben・讀完約 5 分鐘

Claude 寫的文章怎麼一看就是 AI?520 萬字實驗抓出的 4 個破綻,和開源的去 AI 味 skill

你叫 Claude 寫一篇文章,也交代了別用「賦能」「閉環」「抓手」。它照做了,讀起來還是一眼就知道是 AI。

作者 @lieflat_3(躺在废墟里)花了兩個月拿數據去測這件事,把結果做成開源 skill。11/5 他在 X 發的長文有 3K 讚、35 萬次瀏覽,GitHub 上 6.6k 顆星(11/7 查)。

這篇把他的結論用我自己的話整理一次。我讀了 README、研究紀錄和官方案例,也拿他公開的規則測了我們自己的文章,結果放在後面。先講清楚:這個 skill 我沒有安裝來跑,它的成效我只能引用作者的案例。


他怎麼測

兩輪實驗,總共 1,169 篇文章、約 520 萬個漢字、100 多項指標。

第一輪找 5 個模型各寫 60 篇,跟 329 篇人類文章比。跑完他自己發現一個漏洞:兩邊寫的題目不一樣。人類寫財報,數字當然多;AI 寫趨勢漫談,數字當然少。這種差異說明不了寫作習慣。

所以第二輪改成配對:把人類文章裡的事實整理成任務卡,叫 AI 寫同題、同事實、差不多長的文章,一共 270 對。這樣比出來的差異,才比較接近寫作習慣本身。

量測分三層:

  • 腳本:數得出來的東西,例如標點、句長、小標題密度
  • 模型判斷:腳本看不懂的語意,例如這個冒號是在引話還是在下結論,約 50 萬次判斷
  • 人工盲讀:比喻貼不貼切,只能人看

最反直覺的結果:黑名單沒什麼用

大家最常用的方法就是列禁用詞。配對之後,「賦能、閉環、抓手」這類詞的差距幾乎消失(δ 只有 +0.10,他的顯著門檻是 0.33)。「首先、其次、總之」更低,只有 +0.02。

δ 可以這樣理解:隨機抽一篇 AI 文和一篇人類文,AI 比較多的機率減掉比較少的機率。0 就是沒差。

「這意味著」也被洗白了:人類反而用得比較多。所以你花時間調禁用詞,改善有限。

真正的 4 個破綻

1.「不是 A,而是 B」

第一輪的數字是每千字 AI 0.73 次、人類 0.22 次,約 3.4 倍。配對之後 GPT 和 Opus 都還是很強的訊號(δ +0.88、+0.72),是他整份研究裡最強的純寫作訊號之一。

改法很簡單:刪掉「不是 A」,直接講 B。

2. 下結論用的冒號

「關鍵在於:」「核心是:」「一句話總結:」。有趣的是,如果只數冒號總量,人類反而比較多,他差點把這條規則刪掉。後來用模型把冒號按用途分類,才看到「提示結論」這一類 AI 是人類的 2.1 倍以上。真人的冒號常常拿來引別人的話,AI 拿來幫自己下結論。

3. 排比和列舉

一個分句裡用頓號連排三項以上,AI 是人類的 1.8 倍(作者長文的數字);廣義的密集並列是 1.45 倍;三句結構長得一樣的連發,則是 2.75 倍。

4. 比喻

這條最多人猜錯。比喻標記詞的密度,人類反而是 AI 的 2.4 倍,所以問題出在品質。AI 的比喻常常硬套大意象,或混在一起不通。可是貼切度連模型都判不準:六個模型兩兩比對的共識只有 0 到 40%,所以 skill 預設保留原文比喻,交給人看。

用 Claude 的人再看一個:破折號

GPT 和 Claude 的習慣有時方向相反。Opus 4.6 的測試文章百分之百用到破折號(δ +0.95),GPT-5.6 卻比人類還少(δ −0.54)。所以一條規則套到所有模型上會出事,得先知道這篇比較像誰寫的。

其他幾個值得留意的習慣:同一個意思一直換詞、小標題切得太碎、段落銜接太順。人類大約每 14 段就直接跳一次話題,AI 要 50 段才跳一次。

還有一個中文讀者很有感的:名詞前面掛一長串修飾。英文習慣把子句放在名詞後面,模型直譯成中文,就全堆到名詞前面,讀到最後才知道主角是誰。作者說 300 篇 AI 文章裡有 179 篇有這個問題。遇到這種句子,拆成兩句通常就順了。

skill 怎麼用

安裝(README 寫法,我沒有實跑):

npx skills add larashero3-dotcom/lieflat-less-ai-tone

裝好之後丟一篇稿子給 AI,流程是:

  1. 跑腳本和語意判讀,交出檢測報告,列出例句和改法
  2. 停下來等你回覆,你說「按建議改」才動手
  3. 只改命中的地方,事實和數字不動
  4. 用同一支腳本複測,產出改前改後對照

他刻意不做「機械參差」:句子長短不會為了像人而硬拆。官方案例一篇 96 行的文章只改了 11 行,「不是 A 而是 B」從 2 處變 0 處,句長起伏幾乎沒變(0.559 → 0.545)。

我的查證

1. 拿他的規則測我們自己。 他的 detect.py 用一條公開的正則抓「不是 A 而是 B」。我照著寫成繁體版,掃我們自己 10/14 到 11/7 的 30 篇部落格(35,587 字):

(?:不是|並非|不在於|與其說)[^,。!?\n]{1,20}[,]?(?:而是|而在於|不如說)

抓到 14 處,每千字 0.39 次,夾在人類 0.22 和 AI 0.73 中間。這只是粗略比較:我的語料是繁體的短文,他的是簡體長文,只看得出方向。但我們確實也中了。

2. 數字有小出入。 長文寫「將近 4 億 token」,README 寫 3.54 億;長文結尾有一處寫 538 萬字,其他地方都是 520 萬。不影響結論,引用時以 README 為準。

3. 作者自己寫的限制也要一起看。 語意層是單一模型判斷,抽樣誤判 15% 到 30%,方向可信,精確百分點不可信。語料有版權,沒有放進 repo,外人無法直接驗算,只能換自己的語料重跑。模型也一直在變,這些數字都只代表測試當時。

4. 授權。 CC BY-NC 4.0,非商業使用;商用要聯絡作者。公司內容流程要用的話,先看這條。

這週做一件事

就算不裝 skill,也可以做這件事:打開你下一篇 AI 稿,搜尋「而是」。把前面的「不是 A」刪掉,直接講 B。接著搜「關鍵在於:」和「核心是:」,把前面那半句砍掉。

這兩個動作五分鐘做得完,改善比再加十個禁用詞明顯。


原始來源:X @lieflat_3 長文(11/5)|GitHub repo(CC BY-NC 4.0)。文中例句和說明由我重新撰寫。

更多 AI 工具實測,追蹤 IG @your.engineer.ben。

#Claude#Claude Skill#去 AI 味#AI 寫作#開源
看完想再往下學
Claude 桌面版完整實機圖解課程・對話、成品、專案、排程、Skills、連接器與 Code推薦 Claude Code Skills 與外掛免費講義・推薦清單AI 工具程度檢測免費測驗・8 題

參考來源:github.com

看相關課程