AI Runtime Control de Fastly : pourquoi votre stratégie d'IA a besoin d'un plan de contrôle

Depuis plus de 15 ans, Fastly aide des milliers d'entreprises à proposer des expériences rapides, sûres et engageantes. Le hic ? Ces expériences ne sont plus exclusivement réservées aux humains. Les agents et les bots envahissent Internet plus vite que toute prédiction. Cette année, de janvier à mai, nous avons constaté que les requêtes d'IA sur notre propre réseau ont augmenté d'environ 30 %, soit près de 6,5 fois plus vite que le trafic humain au cours de la même période : comme si un second Internet fonctionnait désormais en parallèle de celui initialement créé pour les humains. 

C'est pour cette raison qu'aujourd'hui, nous lançons AI Runtime Control (ARC), un plan de contrôle qui se situe entre vos applications et vos fournisseurs de LLM et d'autres modèles. Chaque appel de modèle que vous effectuez est acheminé via un point unique afin de régir les accès, de suivre les dépenses et de vous aider à préserver votre résilience à mesure que le trafic d'IA augmente.

Les lacunes auxquelles les entreprises sont confrontées aujourd'hui

Lorsqu'on demande à la plupart des leaders de l'ingénierie ou des plateformes comment leur entreprise communique avec les fournisseurs de LLM, on entend souvent la même histoire : les équipes appellent directement OpenAI, Anthropic, Google et d'autres fournisseurs, tandis que quelques clés d'API brutes circulent entre les développeurs et les projets. Lorsqu'elles tentent de contrôler le trafic d'IA, les équipes finissent souvent par assembler un ensemble disparate de solutions uniques. Ainsi, un outil sert au suivi des coûts, un autre au logging et un autre à la limitation du débit. Chaque solution ne traite qu'une partie du problème, et aucune d'entre elles ne sait communiquer avec les autres. Il n'existe aucune vue unifiée des coûts, aucun moyen fiable d'attribuer les dépenses à une application ou à une équipe spécifique, ni de logging cohérent lorsque les équipes chargées de la conformité ou de la sécurité demandent comment un prompt a été traité ou ce que sont devenues des données client. Ces lacunes deviennent plus coûteuses et plus risquées à mesure que l'adoption de l'IA progresse.

Fastly AI Runtime Control : les coulisses

AI Runtime Control comble ce fossé. Plutôt que d'essayer de gérer une série de solutions uniques, vous profitez d'une approche globale et intégrée capable d'évoluer à mesure que vous transformez votre activité. Avec ARC, chaque appel de modèle effectué par vos applications et vos agents est acheminé via un point de terminaison unique géré par Fastly, où vous pouvez émettre des clés virtuelles par application, attribuer l'utilisation et les dépenses en jetons à l'entité qui les génère réellement et appliquer des politiques liées aux modèles utilisés.

Mais ARC est bien plus qu'une simple passerelle. Disposer d'un point de terminaison unique permettant d'accéder à plusieurs modèles est pratique, mais à ce stade, c'est le strict minimum et non un véritable plan de contrôle unifié. 

Grâce à des clés virtuelles spécifiques à chaque modèle qui peuvent être facilement créées, renouvelées, actualisées ou révoquées, à l'attribution des dépenses à des applications, des sessions, des développeurs individuels ou des équipes spécifiques, à des mécanismes de détection exclusifs et à des garde-fous pour atténuer les menaces propres aux LLM, à un basculement automatique lorsqu'un fournisseur rencontre une erreur et au logging complet des requêtes et des réponses pour chaque interaction d'IA, ARC prend le relais là où les avantages d'une passerelle atteignent leurs limites.

La solution vous permet également d'utiliser vos propres clés (BYOK). Vous conservez ainsi vos relations existantes avec les fournisseurs et vos tarifs négociés. Nous ne cherchons pas à nous interposer entre vous et votre modèle. Nous construisons autour de celui-ci la couche de contrôle qui fournit la gouvernance, la visibilité, la sécurité et la résilience qu'un point de terminaison partagé unique ne peut pas offrir. Voici quelques-unes des fonctionnalités qui rendent cela possible :

• Gérez l'accès au moyen de clés virtuelles : au lieu de faire circuler une clé fournisseur partagée dans un canal Slack, chaque application, équipe ou développeur dispose de sa propre clé virtuelle. Les administrateurs peuvent créer, renouveler ou révoquer des accès instantanément, sans modification du code côté client. Cela vous donne également de la visibilité sur l'IA fantôme et la prolifération du vibe coding.

• Protégez-vous contre les attaques spécifiques aux LLM : AI Firewall fonctionne au sein d'ARC et fournit une couche de sécurité optionnelle contre les attaques en langage naturel ciblant les modèles. L'outil utilise une version mise à jour du moteur de détection SmartParse de Fastly et des garde-fous personnalisés pour détecter des attaques telles que l'injection de prompts et d'autres attaques spécifiques aux LLM.

• Suivez vos dépenses en temps réel : l'utilisation des jetons et des requêtes est visible en temps réel et répartie par clé, session et fournisseur. Passez de dépenses réactives à des garde-fous financiers proactifs en appliquant des limites budgétaires mensuelles en dollars exécutoires directement aux clés virtuelles individuelles.

• Intégrez la résilience par défaut  une clé virtuelle peut pointer vers une liste ordonnée de cibles, comme votre modèle principal, puis une cible de basculement, puis une autre. Si le fournisseur principal renvoie une erreur, ARC réessaie automatiquement et bascule vers la cible suivante, en toute transparence pour l'appelant. Associée à la limitation du débit par clé, cela signifie qu'une panne fournisseur ou un agent hors de contrôle n'entraîne pas l'arrêt de votre fonctionnalité d'IA en production.

• Auditez tout : profitez d'un logging complet des requêtes et des réponses, pour les prompts comme pour les complétions, avec une fonction de recherche par utilisateur, modèle, fournisseur et périodes. Lorsqu'une équipe juridique ou de conformité demande comment des données client ont été utilisées, ou si elles ont été transmises à un modèle public, elle obtient une vraie réponse concrète.

L'IA ne supprime pas le besoin d'une infrastructure performante, renforcée et de niveau entreprise : elle renforce les exigences pour chaque requête, que l'interlocuteur soit une personne ou un agent agissant en son nom. C'est là que commence le travail : identifier ce trafic, le gérer et le rendre résilient.

Lancez-vous dès aujourd'hui avec ARC ! Le meilleur reste à venir 

Nous avons passé des années à devenir la couche de contrôle régissant la façon dont les utilisateurs accèdent à vos applications. Avec ARC, nous faisons de même pour la façon dont vos applications accèdent à l'IA. Si vous envoyez déjà du véritable trafic d'IA et ressentez l'absence d'un emplacement unique pour le visualiser et le contrôler, c'est exactement ce manque qu'ARC a été conçu pour combler. Et puisque notre solution fournit un chemin d'intégration unique, vous pouvez facilement débloquer de nouvelles fonctionnalités et capacités sans reconfiguration ni restructuration. 

Ce que nous annonçons aujourd'hui constitue le fondement que nous continuerons à développer. AI Runtime Control vous permet d'innover en toute confiance et d'exécuter l'IA de la même manière que votre infrastructure de production. Consultez notre documentation pour en savoir plus sur la prise en main.