[レベル: 上級]
この記事では、AI が書いた記事を検出するツールを 4 つ紹介します。
AI 生成コンテンツツールを僕は十数個知っていますが、次の条件を満たすものを選びました。
- 日本語で書かれた文章にも対応
- 無料
- それなりに精度が高い
ChatGPT で AI コンテンツ生成
検証に使う記事（文章）は、話題沸騰中の ChatGPT に作らせました。
たとえば、ChatGPT に次のように質問しました。
富士山に初めて登山するときにはどんな準備が必要か教えて
返ってきた回答がこちらです。
富士山に初めて登るためには、以下の準備が必要です:
- 体力トレーニング: 富士山の登山は体力を要するため、適切なフィットネスレベルを保つためにトレーニングが必要です。
- 適切な装備: 登山に必要な装備は、防水かつ抜群のグリップを持つハイキングブーツ、快適なハイキング服、防寒ジャケットなどです。
- タイミング: 富士山の登山シーズンは7月から9月です。シーズン外の登山は避けるべきです。
- 宿泊施設: 登山道には山小屋があり、そこで休憩し寝ることができます。事前に予約することをお勧めします。
- 登山許可: 富士山に登るためには登山許可が必要で、オンラインでもしくは登山口で入手できます。
- 安全: 登山に伴う危険、高山病、低体温、天候などに注意してください。十分な水や食料、医療キットを持って準備をすることでリスクを軽減できます。
- ガイドサービス: 登山に経験がなく自信がない場合は、準備、装備、安全対策などを手伝ってくれるガイドツアーに参加することを検討してください。
こんなふうに、ChatGPT にいくつかの文章を作らせて、僕が知っている AI コンテンツ検出ツールのなかから先に挙げた条件を満たすものをふるいにかけました。
ふるいに残ったのが次の 4 つのツールです。
- GPTZero
- AI GPT3 Detector by Kazan SEO
- AI Content Detection by Content At Scale
- AI Content Detector by Crossplag
【UPDATE (2023/02/02)】
条件を満たすもう 1 つの AI 検出ツールとして「AI Text Classifier」を追加しました。
順に解説します。
GPTZero
検出能力に最も優れていると僕が判断したのは、GPTZero です。
プリンストン大学の学生さんが作ったツールです。
自分と同じ立場の学生が ChatGPT を使って作った論文を見破ることを目的に作ったそうです。
Your text is likely to be written entirely by AI
あなたの文章は全体的に AI によって書かれた可能性が高いです。
このように、AI が書いたかどうかの可能性を判断します。
反対に、人間が書いたものであれば、人間が書いた可能性が高いと判断してくれます。
テキストの貼り付けだけではなく、PDF やテキストファイル、Word ドキュメントのアップロードにも対応しているのも便利な特徴です。
欠点を挙げるとしたら、ChatGPT で作られたテキストを対象にしている点でしょうか。
ChatGPT 以外の AI に書かせた記事では精度が落ちるかもしれません。
それでも、CNET Money が AI に書かせた記事を見破れました（人間の手による修正が入っていただろうにもかかわらず）。
また、文字数が少ないとチェックできません。
ある程度の長い文章が必要です。
AI GPT3 Detector by Kazan SEO
2 つ目は Kazan SEO が提供する AI GPT3 Detector です。
おそらく、名前が示すとおり、GPT3 が生成したテキスト検出用に設計されていると思われます。
probably 79.38% Fake
おそらく 79.38% の確率で偽造
このように、AI が書いたかどうかの度合いをパーセンテージで表してくれます。
複数の URL を一括で調べる機能があります。
UI が見やすいです。
ただし、精度が（GPTZero よりも）若干落ちます。
ChatGPT が書いた文章でも、人間が書いものだろうと判断することがあります。
文字数が多いほうが精度が上がります。
なお、利用にはアカウント登録が必要です。
AI Content Detection by Content At Scale
3 つ目は Content At Scale が提供する AI Content Detection です。
GPT-3 と GPT-3.5、ChatGPT に対応しています。
“Human Content Score” で人間が書いたコンテンツかどうかをスコアで出してくれます。
キャプチャでは、ChatGPT で生成した文章のスコアが 26% と低いので、まあまあ検出できてます。
また、本物 (Real) か偽もの (Fake) かどうかの割合をゲージでも下で表示しています。
全体的に、精度はさほど高くありません。
また文字数制限（半角 2,500 文字）があるので長い文章は 1 回ではチェックできません。
AI Content Detector by Crossplag
最後 4 つ目は Crossplag が提供する AI Content Detector です。
AI が書いたのか人間が書いたのかの可能性を、ヒートマップで使われる寒暖色のゲージで示してくれます。
キャプチャでは 82% の確率で AI コンテンツだと判断しています。
これだけを見ると精度が高そうに見えますが、実際はそうでもありません。
ChatGPT に書かせたテキストでも人間が書いたと判断することがしばしばあります。
何回か使用すると、アカウントを作成しないとそれ以上使えなくなります（Cookie 削除で回避できますがw）。
AI Text Classifier
【UPDATE (2023/02/02)】
AI Text Classifier については別記事で紹介しています。
AI が書いたことをどうやって検出しているのか？
紹介した 4 つのツールを含めて AI コンテンツ検出ツールはどうやって AI が書いたことを判断しているのでしょうか？
簡潔に説明しておきます。
AI が生成するテキストで使われる単語や語句、文章構成などには一定のパターンが見られます。
人間のように多様性に富んでいません。
たとえば、「AI コンテンツが SEO に及ぼす提供」をテーマに記事を書いたとしたら、僕が書いた記事とあなたが書いた記事はまったく異なるはずです（盗作していない限りは）。
内容はもちろんのこと、使う単語から表現方法にいたるまで別ものとしてできあがるでしょう。
ところが、AI が生成するコンテンツはそうではないのです。
パターンが発生するのです。
そのパターンを AI を使って検出します。
ChatGPT は、一世代前の GPT-2 で設計されているそうです。
それでも、かなりの検出精度を実現しています。
Google も同じように AI を用いて AI 生成コンテンツを検出していることは容易に想像できます。
AI が AI コンテンツを検出するのは皮肉なようにも感じます。
人間の手直しによって AI コンテンツっぽさを覆い隠すことができるとしても、少なくとも AI コンテンツそのままの状態ではいくらでも検出可能です。