Was sind KI-Fetcher?

KI-Fetcher sind automatisierte Systeme, die spezifische Inhalte für die Verwendung durch Anwendungen der künstlichen Intelligenz abrufen. Im Gegensatz zu KI-Crawlern, die systematisch große Teile des Webs scannen, greifen KI-Fetcher in der Regel auf einzelne URLs oder kleine Mengen von Ressourcen zu, um eine direkte Anfrage zu beantworten.

Einfach ausgedrückt: Crawler durchforsten das Internet umfassend, während Fetcher genau das abrufen, was eine KI benötigt – und zwar genau dann, wenn sie es benötigt.

Was ist der Zweck von KI-Fetchern?

KI-Fetcher werden eingesetzt, um KI-Systeme (Modelle) mit aktuellen, zielgerichteten Informationen zu versorgen. Der Bedarf an diesen Informationen ergibt sich aus folgenden Aktivitäten:

Abrufen einer Webseite, eines Dokuments oder einer API-Antwort, auf die ein Nutzer Bezug genommen hat (stellen Sie sich einen Menschen vor, der etwas googelt, und der KI-Fetcher hilft, einen KI-Überblick über die Anfrage zu geben)
Bereitstellung aktueller Inhalte, die möglicherweise nicht in den Trainingsdaten enthalten sind
Zusatzfunktionen wie Link-Vorschauen, Quellenangaben, KI-Zusammenfassungen oder Faktenprüfung
Ermöglichung der Interaktion von KI-Tools mit externen Systemen oder Services

Worin unterscheiden sich KI-Fetcher von KI-Crawlern?

Der Hauptunterschied zwischen Crawlern und Fetchern liegt im Umfang und der Zielsetzung ihrer Aktivitäten.

KI-Crawler scannen und sammeln Inhalte proaktiv in großem Maßstab, oft zum Training oder zur Indexierung
KI-Fetcher rufen bestimmte Inhalte reaktiv ab, in der Regel ausgelöst durch eine Nutzeraktion oder eine Anfrage einer Anwendung

Fetcher ähneln eher einem Browser, der eine Seite lädt, oder einem Backend-Service, der eine API aufruft, als einem traditionellen Web-Crawler.

Welche Art von Inhalten rufen KI-Fetcher ab?

KI-Fetcher rufen typischerweise Folgendes ab:

Einzelne Webseiten oder Artikel
Dokumente wie PDFs oder HTML-Dateien
API-Antworten und strukturierte Daten
Mediendateien oder Metadaten, die für eine bestimmte Aufgabe benötigt werden

Sie greifen in der Regel auf Inhalte eine Anfrage nach der anderen zu, anstatt ganze Websites zu scannen.

Was veranlasst einen KI-Fetcher, auf eine Website zuzugreifen?

Häufige Auslöser für KI-gestützte Datenabfragen sind:

Ein Nutzer, der eine URL in ein KI-Tool einfügt oder referenziert
Ein KI-System, das eine bestimmte Quelle verifizieren oder zusammenfassen muss
Eine Anfrage zum Abruf von Echtzeitdaten (z. B. Preise, Dokumentation, Statusseiten)
Ein Anwendungs-Workflow, der externe Informationen benötigt

In vielen Fällen würde der Abruf ohne explizite Absicht des Nutzers oder Systems nicht erfolgen.

Wie können Website-Besitzer KI-Fetcher-Traffic identifizieren?

Website-Betreiber können KI-Fetcher auf verschiedene Weise identifizieren:

Durch ihre unterschiedlichen User-Agent-Zeichenketten (im Wesentlichen ein identifizierender Name)
Durch ihre Anfrage-Header, die auf automatisierten Zugriff hinweisen
Durch die Bewertung von Traffic-Mustern, die API-Calls ähneln, anstatt dem Browsen

Der Traffic durch Fetcher ist in der Regel geringer und sporadischer als der Traffic durch Crawler.

Unterliegen KI-gestützte Datenabfragefunktionen robots.txt und Zugriffskontrollen?

Ja. KI-Fetcher tun in der Regel Folgendes:

Sie beachten Authentifizierungsanforderungen, Paywalls und Zugriffsbeschränkungen
Sie können die robots.txt überprüfen, je nach Implementierung
Sie müssen die Nutzungsbedingungen der Website und die gesetzlichen Anforderungen einhalten

Da Fetcher bestimmte Inhalte abrufen, erweisen sich Zugriffskontrollen wie Log-in-Gates oft als sehr wirksam.

Sind KI-Fetcher ein Datenschutzrisiko?

KI-Fetcher sind im Allgemeinen risikoärmer als breit angelegte Crawler, weil sie:

auf begrenzte, gezielt ausgewählte Inhalte zugreifen
oft an explizite Aktionen der Nutzer gebunden sind
Daten nicht wahllos in großem Umfang erfassen

Es können jedoch Risiken auftreten, wenn vertrauliche URLs unbeabsichtigt abgerufen werden oder wenn die Zugriffskontrollen falsch konfiguriert sind.

Was sind die Sicherheitsrisiken von KI-Fetchern?

KI-Fetcher rufen bei Bedarf bestimmte externe Ressourcen wie Webseiten, Dokumente oder API-Antworten ab. Obwohl sie zielgerichteter sind als KI-Crawler, bergen sie dennoch wichtige Sicherheitsrisiken, wenn sie nicht sorgfältig konzipiert und kontrolliert werden.

KI-Fetcher-Risiken

Server-Side Request Forgery (SSRF). Fetcher, die beliebige URLs akzeptieren, können missbraucht werden, um auf interne Services, Cloud-Metadaten-Endpunkte oder private Netzwerke zuzugreifen.

Unbefugter Zugriff auf sensible Ressourcen. Ohne strenge Netzwerk- und Domainkontrollen können Fetcher unbeabsichtigt interne oder eingeschränkte Inhalte abrufen.

Zugangsdaten- und Token-Offenlegung. Bei Fetchern, die mit einer Authentifizierung konfiguriert sind, besteht die Gefahr, dass Cookies, API-Schlüssel oder privilegierte Anmeldedaten über Logs, Caches oder Antworten offengelegt werden.

Datenexfiltration. Angreifer können Abrufprogramme als Proxy nutzen, um sensible Daten aus geschützten Systemen zu extrahieren und nach außen zu übertragen.

Bösartige oder schädliche Inhalte. Die abgerufenen Inhalte können Exploit-Payloads oder Texte enthalten, die dazu bestimmt sind, das Verhalten nachfolgender KI-Systeme zu manipulieren (sogenannte Prompt-Injection).

Missbrauch und Traffic-Verstärkung. Unbegrenztes Fetching kann ausgenutzt werden, um übermäßigen Traffic zu generieren, Services zu überlasten oder die Herkunft von Anfragen zu verschleiern.

Ressourcenerschöpfung. Unbegrenzte Abrufe können Bandbreite, Rechenleistung oder bezahlte API-Kontingente verbrauchen und die Verfügbarkeit und Kosten beeinträchtigen.

Richtlinien- und Zugriffskontrollumgehung. Eine uneinheitliche Umsetzung von robots.txt, Authentifizierung oder Website-Richtlinien kann rechtliche und sicherheitstechnische Risiken mit sich bringen.

Wie können Sie KI-Fetcher-Risiken verhindern?

Es gibt verschiedene bewährte Vorgehensweisen, die Sicherheitsteams umsetzen können, um die mit KI-Fetchern verbundenen Risiken zu vermeiden.

URL-Zulassungs- und Sperrlisten
Netzwerkisolierung und Egress-Filterung
Entfernung von Anmeldeinformationen aus Fetch-Kontexten
Bereinigung und Validierung von Inhalten
Rate Limiting und Anfragekontingente
Klare Trennung zwischen abgerufenen Daten und Modellanweisungen
Bot-Management und WAF-Steuerungen

Ihre Vorteile mit Fastly

Die Fastly Next-Gen WAF bietet integrierte Bot-Management-Funktionen, um Ihre Anwendungen vor bösartigen Bots zu schützen und gleichzeitig legitime Bots zuzulassen. Verhindern Sie, dass bösartige Bots Aktionen gegen Ihre Websites und APIs durchführen, indem Sie sie identifizieren und unschädlich machen, bevor sie sich negativ auf Ihren Gewinn oder das Nutzererlebnis auswirken können.

Erfahren Sie mehr über die Next-Gen WAF und ihre Bot-Management-Funktionen.