Recupera el control: haz que los bots de IA sigan tus reglas

Descargo de responsabilidad: este artículo fue escrito por humanos, para humanos.

Fastly Bot Management ha mejorado aún más. ¿Estás cansado de que los bots de IA extraigan tus datos? ¿Quieres proteger tu IP de rastreadores aleatorios de IA? ¿Cuál es el TL;DR? Tú estás en control.

Fastly AI Bot Management te puede ayudar a:

• Entiende qué bots de IA están rastreando tu contenido.

• Control qué bots de IA pueden rastrear o extraer tu contenido

• Bloquea cualquier bot que tome cosas sin tu consentimiento.

• Evita que los bots de IA te cuesten dinero

La Web abierta está bajo ataque. Crear online y sin barreras, en muchos sentidos, parece un arte moribundo, pero es más valioso que nunca. Todos los días, nuestros clientes dan la voz de alarma sobre los bots de IA que extraen, consumen y aprenden de tu propiedad intelectual, con el fin de evolucionar sus propios productos patentados mediante la construcción de tus bases de conocimientos o la creación de contenido derivado. Estos rastreadores hacen esto sin el consentimiento del creador y sin dar crédito a la fuente original. No cabe duda de que los creadores de contenido estáis sufriendo. Desde blogueros y periodistas hasta proyectos globales de código abierto y gratuito con millones de usuarios, los creadores os enfrentáis a un punto de inflexión crítico. El sistema de honor de publicar en abierto está siendo eviscerado, y como resultado, la ventaja para el bien público se ve erosionada por ganancias a corto plazo.

El scraping no autorizado permite a las empresas de IA aprovechar el contenido valioso que sus bots rastrean, aprenden y adoptan en sus modelos, sin la oportunidad de obtener el consentimiento del propietario del contenido. No es solo una molestia menor, tampoco. Esto amenaza directamente los modelos de negocio de las organizaciones que dependen del valor de tu contenido original para generar ingresos, y los medios de vida de los creadores que realizan el trabajo. Los bots de IA también están abrumando los principales proyectos de software libre y de código abierto, poniendo en peligro el trabajo de código abierto y de contenido del que depende el 70 % del mundo. A medida que las herramientas de IA proliferan, el impacto en los creadores de contenido y las plataformas de alojamiento aumenta exponencialmente. Sin contramedidas eficaces, corremos el riesgo de un futuro en el que el contenido original y el código de publicación en la web abierta pierdan su valor intrínseco, y las organizaciones que dependen de los ingresos y del progreso colaborativo de ese contenido ya no puedan sostenerse.

Demasiados bots, demasiado poco tiempo

Para empeorar las cosas, la actividad de scraping de bots de IA puede provocar aumentos masivos no deseados en el tráfico de los scrapers, lo que puede degradar el rendimiento del sitio para los usuarios legítimos y provocar cargos por exceso de ancho de banda. La Fundación Wikimedia destacó recientemente la gravedad de este problema. Su infraestructura, diseñada para manejar picos de tráfico humano, está sufriendo ataques implacables de bots raspadores de IA, y los costos y riesgos asociados con el raspado de contenido de IA sin control están aumentando rápidamente. Drew DeVault, una figura destacada de la comunidad de código abierto, declaró sin rodeos: «Durante los últimos meses, en lugar de trabajar en nuestras prioridades en SourceHut, he dedicado entre el 20 % y el 100 % de mi tiempo en una semana determinada a mitigar los rastreadores de LLM hiperagresivos a escala». Las organizaciones sin ánimo de lucro y de código abierto se ven particularmente desafiadas por este problema porque ya estáis limitadas en recursos.

¿Qué puedes hacer para detener esto? Hay algunas técnicas en la caja de herramientas. Las defensas tradicionales, como los archivos robots.txt, han demostrado ser ineficaces contra algunos bots de IA, los tipos que rastrean indiscriminadamente, ignorando los protocolos y la etiqueta establecidos. Esto deja a los creadores de contenido viendo impotentes cómo su trabajo es consumido y readaptado sin permiso ni compensación.

Incluso con las herramientas de gestión de bots existentes, ha sido difícil identificar y mitigar la actividad específica de los scrapers de IA. Primero, los equipos de seguridad deben ser capaces de detectar e identificar la presencia de bots de IA. Desde allí, podrían querer bloquearlos completamente o implementar contramedidas más avanzadas para interceptar, engañar o incluso imponer la monetización. No quieren que las medidas de protección que desplieguen detengan a los bots de IA que sí desean, como aquellos que permiten obtener resultados en motores de búsqueda impulsados por IA. Los creadores necesitáis una manera de gestionar estratégicamente los bots de IA, permitiendo el paso de los buenos y bloqueando los bots de IA malintencionados o no deseados.

Presentamos Fastly AI Bot Management

Fastly AI Bot Management se basa en la potencia de Fastly Bot Management, en la que confían marcas como JetBlue y LeMonde para proteger sus sitios web de ataques y mantener la resiliencia de los sistemas para sus clientes. Te da el poder de gestionar y controlar el comportamiento de los bots de IA que rastrean y extraen contenido de sitios web. Detecta qué bots de IA están accediendo a tu contenido y toma medidas para bloquear, interceptar o permitir ciertos bots de IA según tus propias políticas únicas y las respuestas que desees. Ya está disponible para todos los clientes de Fastly Bot Management y se puede añadir a los principales proyectos de FOSS y Open Web, así como a las organizaciones sin ánimo de lucro que los atienden de forma gratuita a través de nuestro programa Fast Forward. Fastly distribuye un millón de peticiones por segundo en nombre de los proyectos de código abierto que apoyamos.

Figura 1: Fastly AI Bot Management

Para hacerlo posible, hemos introducido nuevas señales para dos categorías separadas de bots de IA verificados.

IA Crawler

Esta señal identifica a los bots de IA que rastrean internet acumulando conocimiento, con o sin el consentimiento del propietario del contenido o la atribución del crédito.

IA Fetcher

Esta señal identifica a los bots que ofrecen respuestas en tiempo real con datos encontrados en Internet. Piensa en cuando haces una búsqueda en Google potenciada por IA de «síntomas de la gripe» o le pides a ChatGPT de OpenAI que te ayude a investigar un tema para una nueva entrada de blog. Estos bots generalmente proporcionan atribución al sitio web del que están obteniendo la información.

Nadie puede verificar la identidad de un bot que no ofrece métodos verificables para hacerlo. ¿Qué significa eso exactamente? Un operador de bot debe publicar un método para que su bot sea identificable para los demás. Por lo general, esta es una lista de direcciones IP que el operador certifica que el bot usará exclusivamente. Sin embargo, no todos los operadores de bots publican métodos verificables, especialmente aquellos que extraen contenido sin consentimiento o atribución.

Para abordar estos bots de IA no verificables, hemos añadido dos señales adicionales de bots de IA que identifican a los presuntos bots AI Crawler o AI Fetcher basándose en vuestra información de user-agent. Los clientes pueden realizar las mismas acciones en estas señales que en las señales verificadas.

Protege tu contenido valioso

Proteger la web abierta y apoyar el libre intercambio de conocimiento es crucial. Al potenciar a los creadores de contenido y plataformas para que toméis decisiones informadas sobre el acceso de los bots de IA, podemos ayudar a preservar la integridad del contenido y del código online para asegurar una compensación justa y la oportunidad de consentimiento para quienes lo producís. 

¿Buscas proteger tu propiedad intelectual y datos, u obtener mejores conocimientos sobre lo que está rastreando tu sitio? Chatea con nuestro equipo de expertos en seguridad para una demostración personalizada y ver qué puede hacer AI Bot Management por ti. Si ya estás usando Fastly Bot Management, es fácil comenzar hoy mismo simplemente usando las nuevas señales de bots de IA. Si eres un proyecto de software libre y de código abierto o una organización que los apoya, ponte en contacto con nosotros para inscribirte en Fast Forward y obtener protección, ¡gratis!