404メディア（404 Media）やワシントン・ポスト（The Washington Post）など多くのパブリッシャーは、AIクローラーボットに対して警戒心を高めてきた。このボットには、オリジナルコンテンツを収集するうえに、大規模言語モデル（LLM）をトレーニングしたり、新しい見出しの記事やクレジットのない記事をそっくりコピー＆ペーストしたりするなど、承認されていない方法で記事を利用する能力があるからだ。
一方、政治ニュースサイトのポリティコ欧州版（Politico Europe）のようなほかのパブリッシャーは、AIクローラーを全面的に歓迎することを選んでいる。
オーディエンス開発とマーケティングに特化したトゥエンティファースト・デジタル（Twenty-First Digital）の創設者でCEOのメリッサ・チャウニング氏は、パブリッシャーのアプローチがさまざまなのは、各社のビジネスモデルに違いがあるからだという。
たとえば404メディアはサブスクリプションに依存する一方、ポリティコ欧州版やワシントン・ポストは、「アッパーファネルのトラフィックソースとしてジェネレーティブAIボットを利用する」「AIボットをブロックし、サブスクリプション事業を守るためにペイウォールを利用する」、いずれの方法もうまく使いたいと考えている。
パブリッシャーは果たして、自社ウェブサイトをAIクローラーボットが機能しやすい場所にしたいのか、しにくい場所にしたいのか。本記事では、パブリッシャー3社が選んだ戦略と、その決断の賛否両論について取り上げる。
404メディアの壁に囲まれたアプローチ
IT系メディアのスタートアップ404メディアのrobots.txtファイルによると、同社が現在実施している対策は、GTPBotのブロックだけだ。その代わりに創業者は、登録ウォールを構築し、現在も将来もボットを一掃することにした。
「実際、オープンAI（OpenAI）だけが今あるAIではなく、オープンAIだけが今あるスクレーパーではないのは間違いない。（中略）これはまさにモグラ叩きのようなソリューションだ。毎週出向いて、その都度開発者にあれこれ頼んだり、自分自身でGitHub（ギットハブ）にアクセスして、新たなAIツールが出るたびにブロックを追加したりするのは願い下げだ」。
そう答えるのは404メディア創業者のひとり、ジョセフ・コックス氏だ。2023年8月にローンチした同社は、フルタイムのスタッフがわずか4名で、その全員が創業者であり、ジャーナリストでもある。
登録ウォールがあるため、オーディエンスはメールアドレスを登録しなければ、同社のコンテンツにアクセスできない。創業者4名は、登録を求める理由をオーディエンス向けメッセージとしてサイトで公開した。
その404メディアの説明では、AIボットが404メディアのコンテンツを収集すると、違うヘッドラインをつけてほかのサイトにそのままコピー＆ペーストするという問題に直面しているという。さらに、そのコピー＆ペースト記事がGoogle検索で、404メディアのオリジナル記事よりも上位にランクしているのだ。
［続きを読む］
The post AI クローラー VS パブリッシャー。敵か仲間か、割れる各社の意見 appeared first on DIGIDAY［日本版］.
Source: New feed
