Reprenez le contrôle : faites en sorte que les robots IA respectent vos règles.

Avertissement : Cet article a été rédigé par des humains, pour des humains.

La gestion des bots Fastly est encore meilleure. Êtes-vous fatigué des robots d'IA qui récupèrent vos données ? Voulez-vous protéger votre IP des robots d'indexation IA aléatoires ? Quel est le TL;DR ? Vous êtes en contrôle.

Fastly AI Bot Management peut vous aider :

• Comprenez quels robots IA explorent votre contenu

• Contrôle ce que les bots d’IA peuvent explorer ou extraire de votre contenu.

• Bloquez tous les robots qui prennent des choses sans votre consentement.

• Empêchez les robots d’IA de vous coûter de l’argent

Le Web ouvert est sous attaque. Créer en ligne et sans barrières, à bien des égards, ressemble à un art en voie de disparition—pourtant, c'est plus précieux que jamais. Chaque jour, nos clients tirent la sonnette d’alarme au sujet des bots d’IA qui extraient, consomment et apprennent de leur propriété intellectuelle, afin de faire évoluer leurs propres produits propriétaires en enrichissant leurs bases de connaissances ou en créant du contenu dérivé. Ces robots d'indexation le font sans le consentement du créateur et sans créditer la source originale. Il ne fait aucun doute que les créateurs de contenu souffrent. Des blogueurs et journalistes aux projets mondiaux gratuits et open source comptant des millions d'utilisateurs, les créateurs font face à un point d'inflexion critique. Le système d'honneur de la publication en accès libre est en train d'être démantelé, et en conséquence, l'avantage pour le bien public est diminué pour des gains à court terme.

Le scraping non autorisé permet aux entreprises d'IA d'exploiter le contenu précieux que leurs robots explorent, apprennent et intègrent dans leurs modèles, sans avoir la possibilité d'obtenir le consentement du propriétaire du contenu. Ce n’est pas non plus une simple gêne. Cela menace directement les modèles économiques des organisations qui dépendent de la valeur de leur contenu original pour générer des revenus – ainsi que les moyens de subsistance des créateurs qui effectuent le travail. Les robots d'IA sont également en train de submerger les principaux projets libres et open source, mettant en péril le code ouvert et le travail sur le contenu dont dépendent 70% du monde. Avec la prolifération des outils d'IA, l'impact sur les créateurs de contenu et les plateformes d'hébergement augmente de manière exponentielle. Sans contre-mesures efficaces, nous risquons un avenir où le contenu original et le code de publication sur le Web ouvert perdent leur valeur intrinsèque, et les organisations qui dépendent des revenus et des progrès collaboratifs de ce contenu ne pourront plus se maintenir.

Trop de bots, trop peu de temps

Pour aggraver les choses, l'activité de scraping des bots d'IA peut entraîner des augmentations massives et indésirables du trafic provenant des scrapers, ce qui peut dégrader les performances du site pour les utilisateurs légitimes et entraîner des frais de dépassement de bande passante. La Wikimedia Foundation a récemment souligné la gravité de ce problème. Leur infrastructure, conçue pour gérer les pics de trafic humain, souffre des attaques incessantes des robots d'extraction d'IA, et les coûts et les risques associés à l'extraction de contenu par l'IA non contrôlée montent en flèche. Drew DeVault, une personnalité éminente de la communauté open source, a déclaré sans ambages : « Ces derniers mois, au lieu de travailler sur nos priorités chez SourceHut, j'ai passé de 20 à 100 % de mon temps chaque semaine à atténuer les robots LLM hyper-agressifs à grande échelle. » Les organisations à but non lucratif et open source sont particulièrement confrontées à ce problème car elles sont déjà limitées en ressources.

Que peut-on faire pour arrêter cela ? Il y a quelques techniques dans la boîte à outils. Les défenses traditionnelles telles que les fichiers robots.txt se sont révélées inefficaces contre certains robots d'intelligence artificielle — ceux qui explorent sans discernement, ignorant les protocoles et l'étiquette établis. Cela laisse les créateurs de contenu regarder impuissants alors que leur travail est consommé et réutilisé sans autorisation ni compensation.

Même avec les outils de gestion des bots existants, il a été difficile d'identifier et d'atténuer les activités spécifiques des scrapers IA. Tout d'abord, les équipes de sécurité doivent être en mesure de détecter et d'identifier la présence de bots IA. À partir de là, ils peuvent souhaiter les bloquer complètement ou lancer des contre-mesures plus sophistiquées pour les intercepter, les tromper ou même imposer une monétisation. Ils ne souhaitent pas que les mesures de protection qu’ils déploient empêchent les robots d’IA qu’ils désirent, comme ceux qui permettent d’obtenir des résultats de moteurs de recherche alimentés par l’IA. Les créateurs ont besoin d’un moyen de gérer les bots d’IA de manière stratégique, en laissant passer les bons tout en bloquant les bots d’IA malveillants ou indésirables.

Présentation de AI Bot Management de Fastly

Fastly AI Bot Management s’appuie sur la puissance de Fastly Bot Management, auquel des marques telles que JetBlue et LeMonde font confiance pour protéger leurs sites web contre les attaques et maintenir la résilience des systèmes pour leurs clients. Il vous donne le pouvoir de gérer et de contrôler le comportement des robots d'intelligence artificielle qui explorent et extraient le contenu des sites web. Détectez quels robots d'IA accèdent à votre contenu, et prenez des mesures pour bloquer, intercepter ou autoriser certains robots d'IA en fonction de vos propres politiques uniques et des réponses souhaitées. Il est désormais disponible pour tous les clients de Fastly Bot Management et peut être ajouté sans frais pour les principaux projets FOSS et Open Web ainsi que pour les organisations à but non lucratif qui les soutiennent, grâce à notre programme Fast Forward. Fastly livre un million de requêtes par seconde pour le compte des projets open source que nous soutenons.

Figure 1 : AI Bot Management de Fastly

Pour rendre cela possible, nous avons introduit de nouveaux signaux pour deux catégories distinctes de bots d'IA vérifiés.

Crawler IA

Ce signal identifie les robots d’IA qui parcourent Internet pour accumuler des connaissances, avec ou sans le consentement du propriétaire du contenu ou l’attribution de crédit.

AI Fetcher

Ce signal identifie les bots qui fournissent des réponses en temps réel avec des données trouvées sur Internet. Pensez au moment où vous effectuez une recherche Google alimentée par l’IA pour « symptômes de la grippe » ou demandez à ChatGPT d’OpenAI de vous aider à rechercher un sujet pour un nouvel article de blog. Ces bots attribuent généralement l'information au site Web d'où ils obtiennent les informations.

Personne ne peut vérifier l'identité d'un bot qui ne fournit pas de méthodes vérifiables pour le faire. Mais qu’est-ce que ça veut dire ? Un opérateur de bot doit publier une méthode pour rendre son bot identifiable aux autres. D'habitude, il s'agit d'une liste d'adresses IP que l'opérateur atteste que le bot utilisera exclusivement. Cependant, tous les opérateurs de bots ne publient pas de méthodes vérifiables, notamment ceux qui extraient du contenu sans consentement ni attribution.

Pour remédier à ces bots IA invérifiables, nous avons ajouté deux autres signaux de bots IA qui identifient les bots AI Crawler ou AI Fetcher présumés sur la base des informations de leur Agent utilisateur. Les clients peuvent effectuer les mêmes actions sur ces signaux que sur les signaux vérifiés.

Protégez votre précieux contenu contre le scraping

Il est crucial de protéger le Web ouvert et de soutenir l'échange libre de connaissances. En renforçant les capacités des créateurs de contenu et des plateformes à faire des choix éclairés concernant l'accès des robots IA, nous pouvons contribuer à préserver l'intégrité du contenu et du code en ligne pour garantir une rémunération équitable et la possibilité du consentement pour ceux qui le produisent. 

Cherchez-vous à protéger votre IP et vos données, ou à obtenir de meilleures informations sur ce qui explore votre site ? Discutez avec notre équipe d'experts en sécurité pour une démonstration personnalisée afin de découvrir ce que AI Bot Management peut faire pour vous ! Si vous utilisez déjà Fastly Bot Management, il est facile de commencer dès aujourd’hui simplement en utilisant les nouveaux signaux de bots IA. Si vous êtes un projet libre et open source ou une organisation qui les soutient, prenez contact avec nous pour vous inscrire à Fast Forward et bénéficier d'une protection – gratuitement !