Presentiamo Fastly AI Runtime Control: perché la tua strategia di IA ha bisogno di un piano di controllo

Da oltre 15 anni, Fastly aiuta migliaia di aziende a offrire esperienze veloci, sicure e coinvolgenti. Ma sempre più spesso queste esperienze non sono più destinate soltanto alle persone. Gli agenti e i bot stanno prendendo il sopravvento su Internet più rapidamente di quanto chiunque avesse previsto. Da gennaio a maggio di quest’anno, abbiamo osservato che le richieste di IA sulla nostra rete sono aumentate di circa il 30%, a un ritmo circa 6,5 volte superiore a quello di crescita del traffico umano nello stesso periodo. È come se ora esistesse una seconda rete Internet che opera in parallelo a quella originariamente costruita per le persone. 

Oggi presentiamo AI Runtime Control (ARC), un piano di controllo che si colloca tra le tue applicazioni e i tuoi provider di LLM e di altri modelli. Ogni chiamata che effettui a un modello passa attraverso un unico punto, da cui puoi gestire gli accessi, tenere traccia della spesa e mantenere la resilienza mentre il traffico IA cresce.

Le lacune con cui le aziende convivono oggi

Se chiedi alla maggior parte dei responsabili dell’ingegneria o delle piattaforme come la loro organizzazione comunica con i provider di LLM, sentirai più o meno la stessa storia: i team chiamano direttamente OpenAI, Anthropic, Google e altri provider, mentre varie chiavi API vengono passate da uno sviluppatore all’altro e da un progetto all’altro. Quando cercano di ottenere il controllo del traffico IA, i team spesso finiscono per mettere insieme un mosaico di soluzioni specifiche: uno strumento per monitorare i costi, un altro per il logging e un altro ancora per la limitazione della velocità. Ogni soluzione specifica affronta solo una parte del problema e nessuna è in grado di comunicare con le altre. Manca una visione unificata dei costi, non c’è un modo affidabile per attribuire la spesa a un’applicazione o a un team specifico e non esiste un logging coerente a cui fare riferimento quando i team di conformità o sicurezza chiedono come sia stato gestito un prompt o dove siano finiti determinati dati dei clienti. Sono lacune che diventano più costose e rischiose ogni mese che passa, man mano che cresce l’adozione dell’IA.

Dentro Fastly AI Runtime Control

AI Runtime Control colma questa lacuna. Anziché cercare di gestire una serie di soluzioni puntuali, puoi trarre beneficio da un approccio completo e integrato, in grado di acquisire scalabilità insieme alla trasformazione della tua azienda. Con ARC, ogni chiamata ai modelli effettuata dalle tue app e dai tuoi agenti passa attraverso un unico endpoint gestito da Fastly, dove puoi emettere chiavi virtuali per ogni app, attribuire l’uso dei token e i costi a chi li generare effettivamente e applicare regole sui modelli che possono essere utilizzati.

Ma ARC è molto più di un gateway. Avere un unico endpoint per accedere a numerosi modelli è utile, ma ormai potrebbe essere considerato un requisito di base, non un vero piano di controllo unificato. 

ARC va oltre ciò che può offrire un gateway grazie a chiavi virtuali specifiche per modello, facili da creare, ruotare, aggiornare o revocare; all’attribuzione dei costi a specifiche applicazioni, sessioni, singoli sviluppatori o team; a sistemi proprietari di rilevamento e protezione per mitigare le minacce specifiche degli LLM; al failover automatico quando un provider restituisce un errore; e al logging completo delle richieste e delle risposte per ogni interazione con l’IA.

ARC è anche bring-your-own-key (BYOK). Mantieni i rapporti esistenti con i tuoi provider e le tariffe che hai negoziato. Non vogliamo frapporci tra te e il tuo modello: stiamo costruendo intorno a esso un livello di controllo che offre governance, visibilità, sicurezza e resilienza, funzionalità che un singolo endpoint condiviso non è mai stato progettato per offrire. Ecco alcune delle funzionalità che rendono tutto questo possibile già oggi:

• Gestisci l’accesso con chiavi virtuali. Invece di condividere un’unica chiave del provider tramite un canale Slack, ogni app, team o sviluppatore dispone di una propria chiave virtuale. Gli amministratori possono creare o ruotare le chiavi oppure revocare l’accesso immediatamente, senza modificare il codice lato client. Questo ti offre anche visibilità sull’IA ombra e sulla proliferazione del vibe coding.

• Proteggiti dagli attacchi specifici per gli LLM. AI Firewall opera all’interno di ARC e offre un livello di sicurezza opzionale contro gli attacchi in linguaggio naturale che prendono di mira i modelli. Sfrutta una versione aggiornata del motore di rilevamento SmartParse di Fastly e guardrail personalizzati per rilevare attacchi come la prompt injection e altri attacchi specifici per gli LLM.

• Tieni sotto controllo la spesa in tempo reale. L’uso dei token e delle richieste è visibile in tempo reale, con dati dettagliati per ogni singola chiave, sessione e provider. Passa da una spesa reattiva a guardrail finanziari proattivi applicando limiti di budget mensile in dollari, vincolanti, direttamente alle singole chiavi virtuali.

• Costruisci la resilienza fin dall’inizio. Una chiave virtuale può puntare a un elenco ordinato di destinazioni: il modello principale, poi un fallback e infine un’altra destinazione. Se il provider principale restituisce un errore, ARC riprova automaticamente e passa alla destinazione successiva, senza che chi effettua la chiamata se ne accorga. Insieme alla limitazione della velocità per singola chiave, questo significa che un’interruzione del servizio di un provider o un agente fuori controllo non manda fuori servizio anche la tua funzionalità di IA in produzione.

• Verifica ogni operazione. Logging completo delle richieste e delle risposte, sia per i prompt sia per le risposte generate, con possibilità di ricerca per utente, modello, provider e intervallo di date. Quando il team legale o quello di compliance chiede come è stato utilizzato un dato di un cliente o se è stato trasmesso a un modello pubblico, puoi dare una risposta concreta anziché alzare le spalle.

L’IA non elimina la necessità di un’infrastruttura ad alte prestazioni, rafforzata e di livello enterprise: alza l’asticella per ogni richiesta, che dall’altra parte ci sia una persona o un agente che agisce per suo conto. Il lavoro inizia identificando quel traffico, gestendolo e rendendolo resiliente.

Inizia oggi con ARC! Il meglio deve ancora venire 

Abbiamo lavorato per anni per diventare il livello di controllo del modo in cui le persone accedono alle tue applicazioni. Con ARC facciamo lo stesso per il modo in cui le tue applicazioni accedono all’IA. Se stai già inviando traffico IA reale e senti la mancanza di un unico punto da cui monitorarlo e controllarlo, ARC è stato costruito proprio per colmare questa lacuna. E poiché ARC offre un unico percorso di integrazione, puoi accedere facilmente a nuove funzionalità e capacità senza dover riconfigurare o riprogettare l’architettura. 

Quello che annunciamo oggi è la base su cui continueremo a costruire. AI Runtime Control ti permette di innovare con fiducia e di gestire l’IA come gestisci la tua infrastruttura di produzione. Consulta la nostra documentazione per ulteriori informazioni su come iniziare.