AI検出ツールは人間の文章をほとんどAIと誤判定しないが、実在の著者を模倣したAIの文章を見逃すことがある

3つのAI文章検出ツール（Pangram、GPTZero、Originality.ai）の性能を、人間の文章、数語の基本的なプロンプトからAIが書いた文章、特定の著者の文体を模倣したAIの文章という3つの条件で測定した。人間の文章については偽陽性率（検出ツールがAIと判定した人間の文章の割合）を、AIの文章については偽陰性率（AIと判定しなかったAIの文章の割合）を示している。各検出ツールの既定の設定での文書単位の判定をそのまま用い、明確な「AI」判定だけを文章を正しく検出したものとして数えた。2つの検出ツール（PangramとGPTZero）は、文書の一部が人間、一部がAIによるものと判断する「混在（Mixed）」判定を返すことがある。今回の文章はいずれもそうした性質のものではないため、これも検出失敗として数えた。人間の文章で「混在」判定が出た場合も同様に誤りとなり、偽陽性率に算入されるが、495件の人間の文章でこの判定を返した検出ツールはなかった。

条件間のパターンは一貫している。偽陽性率は全体に低く、人間の書いた文章をAIと取り違えたのはOriginality.aiだけだった。同様に、基本的なプロンプト（模倣の指示や参照テキストなし）で書かせたAIの文章はほぼ必ず検出される。しかし、文体を模倣したAIの文章は、とくに科学的な文章で、かなりの割合が検出されない。データと図のコードはプロジェクトのリポジトリ（こちら）にある。