WikipediaがAI企業に「スクレイピングをやめるように」と要請

ボットに対する反発が始まりました

月曜日、インターネットの信頼できる「クラウドソース」百科事典であるウィキペディアは、主要なAIスクレイパーに対し、情報を「無料で」取得するのではなく、有料APIを使用するように促す声明を発表しました。寄付やコミュニティ資金に依存しているウィキペディアは、AI企業がそのプラットフォームを可能にしているモデルを迂回しているのを目にしています。彼らはAI企業に対し、代わりに有料ソリューションの使用を遵守するよう懇願しています。

ウィキペディアは声明の中で、「私たちのコンテンツにアクセスするAI開発者やその他のコンテンツ再利用者に対し、責任を持って使用し、ウィキペディアを維持するよう呼びかけています。」彼らは帰属と財政的支援という二つの簡単な行動でこれを達成できます。要求はシンプルです：適切な帰属表示と「Wikimedia Enterpriseプラットフォーム」を通じたウィキペディアのコンテンツへの適切なアクセス。Wikipediaは、「この有料のオプトイン製品により、企業はWikipediaのサーバーに大きな負担をかけることなく、大規模にWikipediaのコンテンツを利用でき、同時に私たちの非営利の使命を支援することも可能です」と述べています。

出版社はスクレイピングの影響を感じています

では、なぜその質問をするのでしょうか？出版社が無制限のスクレイピングの影響を受けているためです。

10月、ウィキペディアはAIの影響でウェブトラフィックが前年比8％減少したという統計をリリースしました。ウィキペディア財団のプロダクト担当シニアディレクターであるマーシャル・ミラー氏は、人間のトラフィックとボットのトラフィックを区別するために取り組んでいると述べています。Wikipediaの豊富なコンテンツを維持する基盤そのもの、Wikipediaページに対するコミュニティ編集の欠如について、さらなる懸念が浮上しています。消費者がウィキペディア自体をクリックする代わりにAIの概要を使用すると、訪問者が減るだけでなく、編集者も減少します。これによりウィキペディアは死んだ空間として残ることになります。

ウィキペディアの懸念は2つあります。第一に、コンテンツのスクレイピングは、訪問者の減少とプラットフォームへの依存度の低下を意味し、その結果、収益とトラフィックが減少します。第二に、スクレイピングトラフィックがサーバーに大きな負担をかけていることを懸念しています。そのため、ウィキペディアはユーザー（特にAI企業）に対して、有料検索オプションの利用を促しています。これにより、ユーザーはコンテンツを大規模に検索できる一方で、サーバーに過負荷をかけたり、この貴重な情報を「無料」で「盗む」ことを防ぎます。  

この特定のストーリーのテーマは、私たちのセキュリティ調査チームが観察している内容と完全に一致しています。私たちの第2四半期脅威インサイトレポートと今後の第3四半期レポートは、同様の発見を強調しています。ボットがWebサイト全体のトラフィックの大部分を占めることで、インフラストラクチャに負担がかかり、コンテンツが「盗まれ」、悪意のある意図がチェックされないリスクがあります。当社の第2四半期報告書は、「AIボットが無防備なウェブインフラストラクチャに大きな負担をかける可能性があり、ピークトラフィックは1分あたり最大39,000リクエストに達する」と強調しました。

AIに対する反発が進行中です

ミラーはブログ記事で、より優れたボット管理ソリューションを採用し、「トラフィックを再分類」した結果、「異常に高いトラフィックの多くが…検知を回避するために構築されたボットから来ていた」と述べました。

これは、私たちが自社データ全体で追跡している傾向を示しています。組織は、「望ましいボット」や一見悪意のないボットであっても、インフラストラクチャに過度の負担をかけ、貴重な知的財産を「盗む」可能性があるという事実に気づき始めています。

実際、第3四半期の脅威インサイトレポートでは、組織が現在ますます「望ましい」ボット、つまり悪意がないと考えられるボットをブロックしているということが明らかになりました。これは、たとえ正当な目的であっても、AIスクレイピングに対する寛容さが精査され始めていることを示しています。組織はもはや報酬なしでデータのスクレイピングを公然と許可していません。

Wikipediaは非営利組織であるため圧力が高まっているが、同じ問題が世界中の出版社にも残っている。

収益とインフラストラクチャコストへの影響を考慮すると、他の団体もWikipediaに参加し、AIスクレイピングの取り締まりを続けると予想されます。

ボット管理戦略はもはや単なる便利なものではありません

ボット管理ソリューションはもはやオプションではなく、あらゆるAppSecプログラムの必須コンポーネントであるべきです。Tollbitとの提携による当社の製品/サービスは、組織がボットを完全に禁止するのではなく、料金を請求することを可能にします。これはまさにウィキペディアが採用しているアプローチです。

要するに、組織は取り締まりを始めています。コンテンツの無料使用を許可することは利益にも持続可能性にもつながらず、ボット戦略を導入することがますます重要になっています。

組織は、Robots.txtファイルは盾ではなく、単なる提案であることを覚えておく必要があります。