コントロールを取り戻す: AI ボットを自分のルールで動かす

免責事項: この投稿は、人間が、人間のために書いたものです。

Fastly Bot Management がさらに良くなりました。AI ボットにデータをスクレイピングされてうんざりしていませんか？ランダムな AI クローラーから IP を保護したいですか？TL;DRとは何ですか？すべてコントロールできます。

Fastly AI Bot Management は次のことに役立ちます。

• どの AI ボットにコンテンツをクロールされているかを把握する

• AI ボットによるコンテンツのクロールやスクレイピングをコントロールする

• 同意なしに何かを取っていくボットをブロックする

• AI ボットによるコストを阻止する

オープン Web が攻撃を受けています。障壁のないオンラインでの制作は、滅びゆく芸術のように感じられる点も多いですが、その価値はかつてないほど高まっています。Fastly の顧客は日々、ナレッジベースの構築や派生コンテンツの作成によって自社プロダクトを進化させるために、自社の知的財産をスクレイピング、消費、学習する AI ボットについて警鐘を鳴らしています。こうしたクローラーは、作成者の同意を得ず、元のソースにクレジットを与えることもなく、これを行います。コンテンツクリエイターが損害を被っていることは疑いの余地がありません。ブロガーやジャーナリストから、何百万人ものユーザーを抱える世界規模のフリーなオープンソースプロジェクトに至るまで、クリエイターは重大な転換点に直面しています。オープンに公開するという名誉ある制度は破壊されつつあり、その結果、目先の利益のために公共のメリットが損なわれています。

AI 企業は、不正なスクレイピングにより、コンテンツ所有者の同意を得ることなく、ボットにクロールさせて学習させ、モデルに採用する貴重なコンテンツを悪用することができます。これは単なる些細な迷惑ではありません。オリジナルコンテンツの価値に依存して収益を生成する組織のビジネスモデルと、その作業を行うクリエイターの生活を直接脅かすものです。AI ボットは主要なフリーのオープンソースプロジェクトを圧倒し、世界の70%が依存しているオープンコードとコンテンツの作業を危険にさらしています。AI ツールが普及するにつれて、コンテンツ作成者やホスティングプラットフォームへの影響は飛躍的に増大します。効果的な対策を講じなければ、オープン Web 上のオリジナルコンテンツや公開コードが本来の価値を失い、そのコンテンツからの収益や共同作業の進歩に依存している組織が将来的に維持できなくなるリスクがあります。

ボットは多すぎ、時間はなさすぎ

さらに悪いことに、AI ボットのスクレイピング活動は、スクレイパーからのトラフィックの望ましくない大幅な増加を引き起こし、正当なユーザーのサイトパフォーマンスを低下させ、帯域幅の超過料金を発生させる可能性があります。Wikimedia Foundation は最近、この問題の深刻さを強調しました。人間のトラフィックの急増に備えて構築された同財団のインフラストラクチャは、絶え間ない AI スクレイパーボット攻撃に苦しんでおり、未チェックの AI コンテンツスクレイピングに関連するコストとリスクは急上昇しています。オープンソースコミュニティの著名人である Drew DeVault 氏は、次のように述べています。「過去数か月間、SourceHut での優先事項に取り組む代わりに、毎週20%から100%の時間を、非常に攻撃的な LLM クローラーを大規模に緩和することに費やしてきました。」非営利団体とオープンソース組織は、すでにリソースが限られているため、この問題に特に直面しています。

これを止めるために何ができるでしょうか？ツールボックスにはいくつかのテクニックがあります。robots.txt ファイルなどの従来の防御策は、確立されたプロトコルやエチケットを無視して無差別にクロールするタイプの AI ボットに対して効果がないことが証明されています。これにより、コンテンツ制作者は、自分の作品が許可や報酬なしに消費され、再利用されるのを無力に見守ることになります。

既存のボット管理ツールを使っても、特定の AI スクレイパーアクティビティを特定して軽減することは困難でした。まず、セキュリティチームは AI ボットの存在を検出する必要があります。そこから、それらを完全にブロックするか、傍受する、欺く、さらには収益化を強制するためのより高度な対策を始めるかもしれません。彼らは、AI を活用した検索エンジンの結果を有効にする AI ボットを阻止しないように、デプロイする保護対策を望んでいます。クリエイターは、AI ボットを戦略的に管理し、良いボットを通過させつつ、悪意のあるまたは望ましくない AI ボットをブロックする方法を必要としています。

Fastly AI Bot Management のご紹介

Fastly AI Bot Management は、JetBlue や LeMonde などのブランドから信頼を得ている Fastly Bot Management の力を基板として、Web サイトを攻撃から保護し、顧客のシステムの耐障害性を維持しています。これにより、Web サイトのコンテンツをクロールしてスクレイピングする AI ボットの行動を管理およびコントロールできます。どの AI ボットがコンテンツにアクセスしているかを検出する、独自のポリシーと望ましいレスポンスに基づいて、特定の AI ボットをブロック、妨害、または許可するアクションを取ります。現在、Fastly Bot Management を利用するすべてのお客様にご利用いただけます。また、主要な FOSS およびオープン Web のプロジェクト、ならびにそれらを支援する非営利団体に対しても、Fast Forward プログラムを通じて無料で追加可能です。Fastly は、サポートするオープンソースプロジェクトに代わって、毎秒100万件のリクエストを配信します。

図 1: Fastly AI ボット管理

これを可能にするために、検証済み AI ボットの2つのカテゴリに新しいシグナルを導入しました。

AI クローラー

この信号は、コンテンツ所有者の同意やクレジットの帰属の有無にかかわらず、インターネットをクロールして知識を蓄積する AI ボットを識別します。

AI フェッチャー

このシグナルは、インターネット上で見つけたデータを用いてリアルタイムで回答を提供するボットを識別します。AI を活用した Google 検索で「インフルエンザの症状」を検索する場合や、OpenAI の ChatGPT に新しいブログ投稿のトピックの調査を依頼する場合を考えてみてください。これらのボットは通常、情報を取得している Web サイトへの帰属を提供します。

検証可能な方法を提供していないボットの身元は、誰も確認できません。これは何を意味するのでしょうか。ボットオペレーターは、他のユーザーがボットを識別できるようにメソッドを公開する必要があります。通常、これは、ボットが排他的に使用することをオペレーターが証明する IP アドレスのリストです。しかし、すべてのボット運営者が検証可能なメソッドを公開しているわけではありません。特に、同意や帰属表示なしにコンテンツをスクレイピングするボット運営者はそれを行いません。

これらの検証不可能な AI ボットに対処するため、User-Agent 情報に基づいて疑わしい AI クローラーまたは AI フェッチャーボットを識別する2つの AI ボットシグナルを追加しました。お客様は、これらのシグナルに対して、検証済みのシグナルと同じアクションを実行できます。

貴重なコンテンツをスクレイピングから保護

オープン Web を保護し、知識の自由な交換をサポートすることは非常に重要です。コンテンツ制作者やプラットフォームが AI ボットへのアクセスについて十分な情報を得た上で選択できるようにすることで、オンラインコンテンツとコードの整合性を維持し、それを制作する人々に公正な報酬と同意の機会を確保することができます。

IP とデータを保護したい、またはサイトをクロールしているものについてより深い洞察を得たいとお考えですか？Fastly のセキュリティ専門家チームとチャットして、パーソナライズされたデモで AI ボット管理がどのようなメリットをもたらすかをご確認ください。すでに Fastly Bot Management を使用している場合は、新しい AI ボットシグナルを使用するだけで、今日から簡単に始められます。フリーなオープンソースプロジェクト、またはそれを支援する組織の方は、ぜひご連絡ください。Fast Forward に登録して、無料で保護を受けましょう。