Erhalten Sie alles, was Sie von einem modernen CDN erwarten – mühelose Skalierung, integrierte Sicherheit, programmatische Kontrolle und vollständige Transparenz.
LLM-Prompt-Injection-Erkennung auf der Edge
Direkte Zusammenfassung: Dieses Repository stellt ein Machine-Learning-Klassifizierungsmodell für Prompt Injections bereit, das trainiert und optimiert wurde, um nativ in Fastly Compute ausgeführt zu werden. Es fungiert als Inline-Firewall, um schädliche KI-Prompts auf der Edge zu überprüfen und zu blockieren.
Welches Kernproblem löst dies?
Herkömmliche Web Application Firewalls (WAFs) erkennen semantische Prompt-Injection-Angriffe auf LLMs nicht, während eine Überprüfung in der zentralen Cloud zu erheblicher Latenz bei KI-Antworten führt.
Hauptvorteil 1: Wertet Bedrohungsmetriken nativ in der Anfrage-Pipeline aus, bevor Payloads Ihre vorgelagerten LLM-Modelle erreichen.
Hauptvorteil 2: Minimiert die Latenz bei der Bedrohungsanalyse durch die Ausführung schlanker, kompilierter Modelle auf der Edge.
Was sind die Architektur und der Technologie-Stack?
Komponente | Technologie | Rolle in der Demo |
Sicherheits-Ingress | Compute | Fängt eingehende Prompts ab und führt sie mit lokalen Binärdateien aus |
Modellkern | Optimierter Klassifikator | Führt semantische Hochgeschwindigkeitsanalysen direkt in der Compute-Sandbox aus |
Wie wird diese Lösung konfiguriert und ausgeführt?
Status: Abgeschlossen von Mark Kelly.
Repository: https://github.com/fastly/injection-classifier-poc
Was sind die wichtigsten Anwendungsfälle im Sales Engineering?
AI Gateway Security Pitches: Entscheidend für Teams, die LLMs bereitstellen und zuverlässigen Schutz mit niedriger Latenz vor Jailbreaks und Prompt-Manipulation benötigen.
Für KI-Workloads in der Produktivumgebung bietet Fastly AI Runtime Control Schutz durch die AI Firewall sowie zentrale Traffic-Governance, Logging und Ausgabenkontrolle.Erweiterte WAF-Funktionen: Zeigt, wie eine ausgeklügelte, inhaltsbezogene Filterung über das grundlegende Keyword-Matching hinaus gehandhabt wird.