Bénéficiez de toutes les fonctionnalités d’un CDN moderne : une scalabilité transparente, une sécurité intégrée, un contrôle par programmation et une visibilité totale.
Visibilité. Contrôle. Gouvernance. Pour chaque appel d'IA.
Fastly AI Runtime Control (ARC)
Arrêtez de deviner vos risques et dépenses liés à l’IA. ARC est un plan de contrôle unifié qui se situe entre vos applications et vos modèles d’IA, vous offrant une visibilité, une gouvernance et un contrôle centralisés sur l’ensemble de votre trafic d’IA. Suivez les dépenses en temps réel, appliquez des limites de budget et de débit, automatisez le basculement entre plusieurs fournisseurs et bénéficiez de performances à faible latence en périphérie.
Avantages
Prenez le contrôle de tout le trafic d'IA et d'agents
Contrôlez l'utilisation interne de l'IA et gouvernez vos applications compatibles avec l'IA. AI Runtime Control de Fastly vous permet de gérer en toute sécurité la complexité liée aux multiples fournisseurs grâce à une visibilité en temps réel, à des contrôles des coûts et des accès, ainsi qu'à un basculement automatisé pour garantir une disponibilité continue.
Auditez 100 % de votre activité d'IA
Répondez aux exigences légales, de conformité et de sécurité. Vérifiez comment les données client sont traitées et retracez avec précision qui a demandé quoi.
Obtenez des métriques multi-fournisseurs unifiées
ARC consolide le trafic de l'IA au sein d'une interface unifiée avec un suivi granulaire et en temps réel du nombre de jetons d'entrée et de sortie, des volumes de requêtes et des coûts calculés, associés à des clés virtuelles et à des sessions client spécifiques.
Isolez rapidement les zones de dépenses élevées
Utilisez des tableaux de bord et des classements en temps réel pour identifier précisément les applications, équipes ou développeurs qui consomment le plus de jetons et d'argent.
Faites des pannes de fournisseur un non-événement
Assurez le bon fonctionnement de vos fonctionnalités d'IA destinées aux clients malgré les limitations de débit ou les pannes de fournisseurs en amont. Si un modèle principal tombe en panne, ARC effectue de nouvelles tentatives et bascule en toute transparence vers vos modèles de secours en périphérie, assurant ainsi la continuité de l'expérience utilisateur.
Appliquez des limites budgétaires mensuelles
Passez de dépenses réactives à des garde-fous financiers proactifs en appliquant des limites budgétaires mensuelles en dollars exécutoires directement aux clés virtuelles individuelles.
Empêchez les agents hors de contrôle d'affecter votre budget ou votre quota d'IA
La limitation du débit par clé virtuelle protège vos quotas fournisseur en amont de l'épuisement causé par des boucles d'agents autonomes hors de contrôle ou des pics de trafic externes.
Protégez-vous contre les menaces basées sur les LLM grâce à AI Firewall
AI Firewall est un module de sécurité au sein d'ARC qui protège vos applications optimisées par l'IA contre les attaques par injection de prompts avec un impact quasi nul sur la latence. Il utilise le moteur de détection SmartParse de Fastly et des garde-fous personnalisés pour détecter des attaques telles que l'injection de prompts et d'autres attaques spécifiques aux LLM. Déployez-le simplement en activant un bouton.
En savoir plus sur AI Runtime Control
Un plan de contrôle unique pour tout votre trafic d'IA
Sécurisez l'accès, plafonnez les dépenses et stoppez les attaques avant qu'elles ne débutent. AI Runtime Control de Fastly vous offre un point central pour gérer l'accès, les dépenses et les risques liés à chaque modèle et fournisseur, afin que vous puissiez exécuter l'IA en production avec une visibilité et un contrôle en temps réel.
Questions fréquemment posées
Qu'est-ce que l'AI Runtime Control de Fastly ?
ARC est un plan de contrôle qui gouverne le trafic d'IA dans l'ensemble de votre entreprise, en suivant les dépenses en temps réel, en appliquant des contrôles d'accès et en permettant le basculement automatique entre les modèles d'IA. Il offre aux équipes une vue unique sur l'utilisation des jetons, les coûts et les requêtes auprès de chaque fournisseur d'IA qu'elles utilisent.
Comment puis-je contrôler ou réduire les dépenses liées à l'IA au sein de mon entreprise ?
ARC suit le nombre de jetons d’entrée/sortie, les volumes de requêtes et les coûts calculés en temps réel, associés à des clés virtuelles et à des sessions client. Les tableaux de bord et les classements en temps réel montrent exactement les applications, équipes ou développeurs qui génèrent les dépenses les plus élevées, afin que vous puissiez repérer et corriger rapidement les points critiques.
Que se passe-t-il si mon fournisseur d'IA (comme OpenAI ou Anthropic) subit une panne ?
ARC maintient les fonctionnalités et les charges de travail d'IA opérationnelles en relançant automatiquement les requêtes et en basculant de manière transparente vers des modèles de secours en périphérie lorsqu'un fournisseur principal tombe en panne.
Comment empêcher un agent hors de contrôle d'épuiser mon budget ou mon quota ?
ARC applique une limitation du débit par clé virtuelle afin de limiter la quantité de ressources qu'une application, un agent ou un utilisateur peut consommer. Cela protège votre budget et vos quotas fournisseur en amont de l'épuisement causé par des boucles d'agents autonomes hors de contrôle ou des pics de trafic imprévus.
Qu’est-ce que AI Firewall de Fastly ?
AI Firewall protège les applications d’IA contre les attaques qui ciblent spécifiquement les modèles, comme les tentatives d’injection de prompts où une entrée en langage naturel tente de déclencher des actions non souhaitées. AI Firewall de Fastly est spécialement conçu pour ces menaces spécifiques à l’IA, contrairement à un pare-feu d’application web traditionnel.
Comment la solution AI Firewall de Fastly détecte-t-elle et bloque-t-elle les attaques par injection de prompt ?
Il suit un processus en trois étapes : les requêtes sont d'abord inspectées par le moteur de détection SmartParse de Fastly pour identifier les menaces spécifiques aux LLM, des garde-fous sont injectés afin d'assainir les réponses et les sorties sont validées pour vérifier les réponses de refus et assurer la protection contre les fuites.
Quelle est la différence entre AI Runtime Control et AI Firewall ? Ai-je besoin des deux ?
ARC est le plan de contrôle qui gère le trafic d'IA, les coûts et la fiabilité sur l'ensemble des fournisseurs. AI Firewall est une couche de sécurité qui se déploie au sein d'ARC, en y ajoutant des garde-fous et la détection des menaces. La plupart des entreprises exécutent AI Firewall dans le cadre de leur déploiement d'ARC, à la fois pour la gouvernance et pour la protection.
What is an AI Gateway?
An AI Gateway is a proxy layer that routes requests to LLM providers through a single endpoint, typically handling basic tasks like API key management and request forwarding. Fastly's AI Runtime Control (ARC) includes gateway functionality, but goes well beyond it adding real-time cost attribution, budget enforcement, multi-provider failover, detailed request/response logging, and optional prompt injection protection via AI Firewall, all while letting you keep your own provider keys and rates (BYOK).
Envie d'en savoir plus ?
Fastly rejoint l'Agentic AI Foundation
Fastly a rejoint l'Agentic AI Foundation (AAIF) afin de garantir que les protocoles régissant les interactions agentiques soient conçus pour l'échelle et la rapidité des environnements de production réels.
MCP en périphérie
Les boucles d'agents effectuent des dizaines d'appels d'outils par tâche. Découvrez comment le MCP sans état en périphérie les transforme en un saut de réseau inférieur à la milliseconde.
Concevez un serveur MCP véritablement sécurisé avec Fastly Compute
Un MCP mal conçu peut devenir un véritable champ de mines pour votre sécurité. Cet article propose un guide étape par étape pour déployer un serveur MCP sécurisé et évolutif sur Fastly.