KI-Bots im zweiten Quartal 2025: Trends aus dem Fastly Threat Insights Report

Der Threat Insights Report von Fastly für das zweite Quartal 2025 zeigt auf, wie Meta, OpenAI und andere KI-Giganten massiven Crawler- und Fetcher-Traffic verursachen und was Organisationen tun müssen, um die Kontrolle zu behalten.

KI ist nicht nur ein Trend; sie verändert den Internet-Traffic in Echtzeit. Die Nachfrage nach Inhalten steigt durch Anwendungen wie ChatGPT, die auf Large Language Models (LLMs) basieren. Dies belastet die Netzwerke, verstärkt das Scraping und zwingt Organisationen dazu, ihre Strategien zum Schutz ihrer Assets zu überdenken, während sie gleichzeitig ihre Zielgruppen erreichen müssen.

Von umfangreichen Crawlern, die das Internet erfassen, bis hin zu Fetchern, die Antworten in Echtzeit liefern, bringen KI-Bots zusätzliche Herausforderungen in Bezug auf Performance, Kosten und Sicherheit mit sich. Die neueste Ausgabe des Threat Insights Report von Fastly konzentriert sich ausschließlich auf KI-Bots. So erfahren Sie, was wirklich hinter dem KI-getriebenen Traffic steckt – und was dies für die Zukunft Ihrer Website bedeutet.

Der Web-Appetit der KI: 80 % Crawler, 20 % Fetcher

Das Internet wird (heute mehr denn je) von Bots dominiert, wobei der KI-Bot-Traffic weiter zunimmt. Zwischen April und Juli machten KI-Crawler fast 80 % des gesamten KI-Bot-Traffics aus, der im Fastly-Netzwerk beobachtet wurde. Die große Überraschung? Allein die KI-Crawler von Meta generieren 52 % dieses Traffics, mehr als Google (23 %) und OpenAI (20 %) zusammen!

Noch auffälliger ist die geografische Verteilung. Fast 90 % des gesamten nordamerikanischen KI-Bot-Traffics stammten von Crawlern, während Lateinamerika (72 %), Asien (58 %) und Europa (41 %) weitaus geringere Crawler-Prozentsätze aufwiesen. Bei beliebten Crawlern waren die Unterschiede noch beträchtlicher: Bei Meta und Google entfielen über 90 % des Crawl-Traffics auf nordamerikanische Websites. Diese Konzentration des Crawler-Traffics in Nordamerika könnte sich auf die Datensätze auswirken, die die derzeit populärsten LLMs speisen, und damit auch auf die von ihnen generierten Ergebnisse.

Fetcher: Schnell, fokussiert und mit hohem Volumen

KI-Fetcher-Bots, die auf der Grundlage von Nutzer-Queries bestimmte Inhalte in Echtzeit abrufen, machten die anderen 20 % des KI-Bot-Traffics aus. Hier sticht OpenAI hervor: Die Bots des Unternehmens (einschließlich ChatGPT) generierten beeindruckende 98 % der Fetcher-Anfragen. Diese Erkenntnis könnte auf die Beliebtheit von ChatGPT auf dem LLM-Markt für Konsumenten hindeuten. Allerdings verwenden einige KI-Fetcher zuvor indizierte Daten aus Suchmaschinen, anstatt diese direkt in Echtzeit abzurufen. 

In einigen Fällen erreichte der Fetcher-Traffic 39.000 Anfragen pro Minute – hoch genug, um eine ungeschützte Origin-Infrastruktur zu überlasten. Auch ohne böswillige Absicht können diese Spitzen DDoS-Bedingungen für Websites imitieren, die dieses Traffic-Volumen nicht regelmäßig erreichen, Ressourcen verbrauchen und die Leistung der Website beeinträchtigen. Steigender KI-Bot-Traffic ist nicht unbedingt schlecht; die Indizierung oder Verwendung Ihrer Inhalte in KI-gestützten Ergebnissen kann die Sichtbarkeit Ihrer Website erhöhen. Ohne Transparenz und Bot-Verifizierung kann selbst gut gemeinte Automatisierung jedoch zu einem versteckten Ressourcenverbrauch führen.

Weitere Trends im KI-Bot-Traffic und wie man darauf reagiert

Während Crawler und Fetcher die Diskussion dominieren, zeigen unsere Q2-Daten weitere wichtige Trends im KI-Bot-Verhalten auf:

• In den Bereichen Handel, Medien und Unterhaltung sowie Hightech ist die höchste KI-Scraping-Aktivität zu verzeichnen.

• Die fehlende Bot-Verifizierung bleibt eine große Herausforderung und erschwert es Sicherheitsteams, legitime Automatisierung von Imitatoren zu unterscheiden.

• KI-Bots erhöhen die betriebliche Komplexität – ohne transparente Signalisierung und Identifizierung werden sie zu einem wachsenden blinden Fleck für digitale Teams.

• Fetcher-Bots verändern das Nutzererlebnis, indem sie Inhalte in Echtzeit in einem Umfang bereitstellen, der auch ohne böswillige Absicht Angriffsmuster nachahmen kann.

Aber was bedeutet das für Sie?

• Ignorieren Sie „freundliche“ Bots nicht: Selbst legitime Crawler und Fetcher können die Infrastruktur überlasten, wenn keine Richtlinien vorhanden sind.

• Kontrollieren Sie Ihre Präsenz: Entscheiden Sie, welche Bots in welcher Geschwindigkeit auf Ihre Inhalte zugreifen sollen. (Sehen Sie sich an, wie Fastly Bot Management Ihrem Team die Möglichkeit gibt, das Verhalten von Bots, die Ihre Inhalte crawlen und scrapen, zu verwalten und zu kontrollieren.)

• Achten Sie auf geografische Verzerrungen: Inhalte werden hauptsächlich in Nordamerika gecrawlt, was sich darauf auswirken kann, wie KI-Modelle Ihre Branche, Marke oder Produkte darstellen.

• Verifizieren Sie (und dann verifizieren Sie erneut): Ohne klare Standards zur Bot-Identifizierung können sich böswillige Akteure als legitime KI-Bot-Aktivität ausgeben. Investieren Sie in Lösungen, die den Unterschied erkennen können, und stellen Sie die Anforderung an KI-Bot-Betreiber, Verifizierungsmöglichkeiten bereitzustellen.

Kontrolle über KI-gesteuerten Web-Traffic

Der vierteljährliche Threat Insights Report von Fastly basiert auf 6,5 Billionen monatlichen Anfragen* über die Next-Gen WAF-, Bot Management- und DDoS-Schutz-Lösungen von Fastly. Diese Lösungen tragen gemeinsam dazu bei, über 130.000 Apps und APIs** in einer Vielzahl von Branchen zu sichern, darunter führende E-Commerce-, Streaming-, Medien- und Unterhaltungs-, Finanzdienstleistungs- und Technologieunternehmen.

Bleiben Sie auf dem Laufenden mit dem Fastly Security Research Team, das kontinuierlich eine Reihe wertvoller Ressourcen veröffentlicht, darunter Blogs, CVE-Hinweise, Einblicke in Bedrohungen, Tutorials und mehr, um unsere Kunden über die neuesten Sicherheitsentwicklungen auf dem Laufenden zu halten.

KI-Bots sind heute eine entscheidende Kraft im Internet-Traffic und prägen alles, von der Infrastrukturbelastung bis hin zu den Daten, die die LLMs von morgen antreiben. Die Herausforderung und die Chance liegen darin, zu entscheiden, wie und von wem Ihre Inhalte abgerufen werden.

Lesen Sie den vollständigen Threat Insights Report für das zweite Quartal 2025, um die vollständigen Daten, Branchenauswirkungen und Strategien zu erkunden, um im KI-Zeitalter die Kontrolle über Ihren Traffic zu behalten.

* Gleitender 6-Monats-Durchschnitt, Stand: 22. April 2025

** Stand: 22. April 2025