Wir stellen Fastly AI Runtime Control vor: Warum Ihre KI-Strategie eine Kontrollebene benötigt

Seit mehr als 15 Jahren unterstützt Fastly Tausende Unternehmen dabei, schnelle, sichere und überzeugende digitale Erlebnisse bereitzustellen. Doch zunehmend sind diese Erlebnisse nicht mehr nur für Menschen bestimmt. Agenten und Bots übernehmen das Internet schneller, als irgendjemand erwartet hat. Von Januar bis Mai dieses Jahres stieg die Zahl der KI-Anfragen in unserem Netzwerk um rund 30 %. Das ist etwa 6,5-mal schneller als das Wachstum des menschlichen Traffics im selben Zeitraum. Es ist, als gäbe es inzwischen ein zweites Internet neben dem, das ursprünglich für Menschen geschaffen wurde. 

Deshalb stellen wir heute AI Runtime Control (ARC) vor, eine Kontrollebene, die zwischen Ihren Apps und Ihren Anbietern von LLMs sowie anderen Modellen angesiedelt ist. Jeder Ihrer Modellaufrufe läuft über eine zentrale Stelle. So können Sie Zugriffe steuern, Kosten nachverfolgen und auch bei wachsendem KI-Traffic widerstandsfähig bleiben.

Mit welchen Lücken Unternehmen heute umgehen müssen

Fragt man Verantwortliche für Entwicklung oder Plattformen, wie ihr Unternehmen mit LLM-Anbietern kommuniziert, hört man häufig eine ähnliche Geschichte: Teams rufen OpenAI, Anthropic, Google und andere Anbieter direkt auf. Dabei werden API-Schlüssel der Anbieter an verschiedene Entwickler und Projekte weitergegeben. Wenn Teams versuchen, den KI-Traffic unter Kontrolle zu bringen, setzen sie oft eine Reihe von Einzellösungen zusammen: ein Tool zur Kostenerfassung, eines zur Protokollierung und ein weiteres zum Rate Limiting. Jede dieser Lösungen deckt nur einen Teil des Problems ab, und die Tools sind nicht aufeinander abgestimmt. Es fehlt ein Gesamtüberblick über die Kosten, Ausgaben lassen sich nicht zuverlässig einer bestimmten Anwendung oder einem Team zuordnen, und wenn Compliance- oder Sicherheitsteams wissen möchten, wie ein Prompt verarbeitet wurde oder wo Kundendaten gelandet sind, fehlen einheitliche Protokolle. Je stärker Unternehmen KI einsetzen, desto kostspieliger und riskanter werden diese Lücken.

Fastly AI Runtime Control im Detail

AI Runtime Control schließt diese Lücke. Statt mehrere Einzellösungen zu verwalten, profitieren Sie von einem ganzheitlichen, integrierten Ansatz, der mit der Weiterentwicklung Ihres Unternehmens skaliert. Mit ARC läuft jeder Modellaufruf Ihrer Anwendungen und Agenten über einen zentralen, von Fastly verwalteten Endpunkt. Dort können Sie virtuelle Schlüssel für einzelne Anwendungen ausgeben, Token-Verbrauch und Kosten den tatsächlichen Verursachern zuordnen und Vorgaben für die Nutzung bestimmter Modelle durchsetzen.

Aber ARC ist weit mehr als nur ein Gateway. Ein Endpunkt für den Zugriff auf zahlreiche Modelle ist nützlich. Inzwischen gehört das jedoch eher zur Grundausstattung und macht noch keine einheitliche Kontrollebene aus. 

ARC setzt dort an, wo ein Gateway an seine Grenzen stößt: mit modellspezifischen virtuellen Schlüsseln, die sich einfach erstellen, austauschen, erneuern oder widerrufen lassen; mit Ausgaben, die bestimmten Apps, Sitzungen, einzelnen Entwicklern oder Teams zugeordnet werden; mit proprietärer Erkennung und Leitplanken zum Schutz vor LLM-spezifischen Bedrohungen; mit automatischem Failover, wenn bei einem Anbieter ein Fehler auftritt; sowie mit vollständigem Logging aller Anfragen und Antworten für jede KI-Interaktion.

ARC unterstützt außerdem Bring Your Own Key (BYOK). Ihre bestehenden Verträge mit Modellanbietern und die ausgehandelten Preise bleiben erhalten. Wir versuchen nicht, uns zwischen Sie und Ihr Modell zu stellen. Stattdessen schaffen wir eine Kontrollschicht um Ihre Modellaufrufe, die Governance, Transparenz, Sicherheit und Ausfallsicherheit bietet. Ein einzelner gemeinsamer Endpunkt allein ist dafür nicht ausgelegt. Diese Funktionen machen das schon heute möglich:

• Den Zugriff mit virtuellen Schlüsseln steuern. Statt einen gemeinsamen Schlüssel für den Modellanbieter über einen Slack-Kanal weiterzugeben, erhält jede Anwendung, jedes Team und jeder Entwickler einen eigenen virtuellen Schlüssel. Administratoren können den Zugriff sofort einrichten, Schlüssel austauschen oder den Zugriff widerrufen, ohne dass clientseitige Codeänderungen nötig sind. So erkennen Sie auch nicht genehmigte KI-Nutzung und unkontrolliertes Vibe Coding.

• Vor LLM-spezifischen Angriffen schützen. AI Firewall arbeitet innerhalb von ARC und bietet optionalen Schutz vor natürlichsprachlichen Angriffen auf Modelle. Sie nutzt dazu eine aktualisierte Version der SmartParse-Erkennungs-Engine von Fastly und Custom Guardrails, um Angriffe wie Prompt-Injection und andere LLM-spezifische Angriffe zu erkennen.

• Ausgaben in Echtzeit im Blick behalten. Token-Verbrauch und Anfragevolumen sind in Echtzeit sichtbar und lassen sich einzelnen Schlüsseln, Sitzungen und Anbietern zuordnen. Gehen Sie von reaktiven Ausgaben zu proaktiven finanziellen Leitplanken über, indem Sie durchsetzbare monatliche Dollar-Budgetlimits direkt auf einzelne virtuelle Schlüssel anwenden.

• Ausfallsicherheit von Anfang an einplanen. Ein virtueller Schlüssel kann auf eine geordnete Liste von Zielen verweisen: zuerst auf Ihr bevorzugtes Modell, dann auf ein Ersatzmodell und bei Bedarf auf ein weiteres. Wenn beim bevorzugten Anbieter ein Fehler auftritt, versucht ARC den Aufruf automatisch erneut und wechselt zum nächsten Ziel, ohne dass der Aufrufer eingreifen muss. Zusammen mit Rate Limiting pro Schlüssel verhindert das, dass ein Anbieterausfall oder ein außer Kontrolle geratener Agent Ihre produktive KI-Funktion lahmlegt.

• Alles nachvollziehbar protokollieren. Vollständiges Logging von Anfragen und Antworten sowohl für Prompts als auch für Modellausgaben, durchsuchbar nach Nutzer, Modell, Anbieter und Datumsbereich. Wenn Ihre Rechts- oder Compliance-Abteilung wissen möchte, wie bestimmte Kundendaten verwendet wurden oder ob sie an ein öffentliches Modell gesendet wurden, können Sie eine konkrete Antwort geben.

KI macht leistungsfähige, abgesicherte Infrastruktur für Unternehmen nicht überflüssig. Im Gegenteil: Sie erhöht die Anforderungen an jede Anfrage, unabhängig davon, ob am anderen Ende ein Mensch oder ein Agent in seinem Auftrag steht. Die Arbeit beginnt damit, diesen Traffic zu identifizieren, zu steuern und widerstandsfähig zu machen.

Jetzt mit ARC starten! Das Beste kommt noch 

Seit Jahren arbeiten wir daran, die Kontrollschicht für den Zugriff von Nutzern auf Ihre Anwendungen zu werden. Mit ARC übernehmen wir dieselbe Aufgabe für den Zugriff Ihrer Anwendungen auf KI. Wenn Ihre Anwendungen bereits KI-Anfragen senden und Ihnen eine zentrale Stelle fehlt, um diese einzusehen und zu steuern, schließt ARC genau diese Lücke. Und weil ARC einen einheitlichen Integrationsweg bietet, können Sie neue Funktionen einfach nutzen, ohne Ihre Konfiguration oder Architektur neu gestalten zu müssen.

Was wir heute vorstellen, ist das Fundament, auf dem wir weiter aufbauen werden. Mit AI Runtime Control können Sie Innovationen mit gutem Gefühl vorantreiben und KI ebenso kontrolliert betreiben wie Ihre Produktivinfrastruktur. Weitere Informationen für den Einstieg finden Sie in unserer Dokumentation.