Visibilità. Controllo. Governance. Per ogni chiamata dell'IA.

Fastly AI Runtime Control (ARC)

Quali sono i rischi e i costi dell'IA? Smetti di tirare ad indovinare. ARC è un piano di controllo unificato che si posiziona tra le tue applicazioni e i modelli di IA, offrendoti visibilità, governance e controllo centralizzati su tutto il tuo traffico IA. Traccia la spesa in tempo reale, applica limiti di budget e di velocità, automatizza il failover multi-provider e beneficia delle prestazioni edge a bassa latenza.

Vantaggi

Prendi il controllo di tutto il traffico dell'IA e degli agenti

Controlla l’uso interno dell’IA e governa le tue applicazioni abilitate all’IA. AI Runtime Control di Fastly ti consente di gestire in sicurezza la complessità multi-provider con visibilità in tempo reale, controlli dei costi e degli accessi, oltre al failover automatico per garantire un uptime continuo.

Esegui l’audit del 100% della tua attività IA

Soddisfa i requisiti legali, di conformità e di sicurezza. Verifica come vengono gestiti i dati dei clienti e traccia esattamente chi ha richiesto cosa.

Ottieni una misurazione multiprovider unificata

ARC consolida il traffico IA in un unico pannello di controllo con un tracciamento granulare e in tempo reale del conteggio dei token di input e output, dei volumi di richieste e dei costi calcolati mappati su chiavi virtuali e sessioni client specifiche.

Isola rapidamente gli hotspot ad alta spesa

Usa dashboard e graduatorie in tempo reale per identificare esattamente quali applicazioni, team o sviluppatori consumano più token e dollari.

Trasforma le interruzioni dei provider in un non-evento

Mantieni perfettamente operative le funzionalità di IA rivolte ai clienti anche in caso di rate limit o interruzioni dei provider upstream. Se un modello primario non è disponibile, ARC ritenta in modo trasparente e passa ai modelli di backup ai bordi della rete, garantendo un’esperienza utente continua.

Applica limiti di budget mensili

Passa da una spesa reattiva a guardrail finanziari proattivi applicando limiti di budget mensile in dollari, vincolanti, direttamente alle singole chiavi virtuali.

Impedisci agli agenti fuori controllo di esaurire il tuo budget o la tua quota di IA

La limitazione della velocità basata su chiave virtuale protegge le quote del tuo provider upstream dall'esaurimento causato da loop incontrollati di agenti autonomi o da picchi di traffico esterni.

Difenditi dalle minacce basate su LLM con il firewall IA

AI Firewall è un modulo di sicurezza all’interno di ARC che protegge le tue applicazioni basate sull’IA da attacchi di prompt injection con un impatto sulla latenza quasi nullo. Sfrutta il motore di rilevamento SmartParse di Fastly e guardrail personalizzati per rilevare attacchi come la prompt injection e altri attacchi specifici per LLM. Distribuisci con un clic.

Scopri AI Runtime Control

Un unico control plane per tutto il tuo traffico IA

Blocca gli accessi, limita le spese e ferma gli attacchi prima che inizino. AI Runtime Control di Fastly ti offre un unico punto di gestione per accessi, spese e rischi per ogni modello e provider, permettendoti di eseguire l’IA in produzione con visibilità e controllo in tempo reale.

Accesso sicuro con chiavi virtuali gestite

ARC sostituisce le chiavi API grezze dei provider con chiavi virtuali sicure e ruotabili, e supporta inoltre la connessione ai provider tramite pass-through SSO federato per un controllo centralizzato dell’identità e degli accessi.

Limiti di spesa e avvisi per chiave

Imposta un budget mensile in dollari per chiave virtuale, con la possibilità di scegliere tra blocco forzato o continuazione dell’erogazione una volta esaurito. Ricevi avvisi di soglia all’80% e al 100% tramite il Notification Service di Fastly.

Firewall per l'IA

AI Firewall fornisce un livello opzionale di sicurezza utilizzando il motore di rilevamento proprietario SmartParse di Fastly per proteggere le applicazioni basate sull’IA da attacchi di prompt injection con un impatto sulla latenza quasi nullo.

Failover multi-provider e nuovi tentativi

Le chiavi virtuali instradano verso un elenco ordinato di target di fallback. ARC ritenta automaticamente una richiesta non riuscita, quindi esegue il failover sul target successivo se gli errori persistono, in modo trasparente per l'applicazione o il servizio che effettua la richiesta.

Limitazione della velocità con chiave virtuale

I limiti indipendenti di richieste al minuto e di token al minuto per chiave proteggono la quota del provider e aiutano a proteggere dai vettori di attacco i tuoi prodotti e le tue funzionalità IA rivolti ai clienti.

Logging e dashboard dettagliati

ARC acquisisce i log completi di richieste e risposte, inclusi prompt e completamenti, per il debug e l’analisi. Visualizza la spesa da inizio mese, i volumi di richieste e il conteggio dei token per individuare all’istante usi incontrollati e anomalie.

Domande frequenti

Cos’è AI Runtime Control di Fastly?

ARC è un control plane che governa il traffico IA in tutta la tua organizzazione tracciando la spesa in tempo reale, applicando controlli degli accessi e abilitando il failover automatico tra modelli di IA. Offre ai team una vista unica sull’uso dei token, sui costi e sulle richieste per ogni provider di IA che utilizzano.

Come posso controllare o ridurre la spesa per l'IA in tutta la mia organizzazione?

ARC traccia il numero di token di input/output, i volumi di richieste e i costi calcolati in tempo reale, mappati su chiavi virtuali e sessioni client. Dashboard e graduatorie in tempo reale mostrano esattamente quali app, team o sviluppatori generano la spesa più elevata, così puoi individuare e risolvere rapidamente i punti critici.

Cosa succede se il mio provider di IA (come OpenAI o Anthropic) subisce un'interruzione del servizio?

ARC mantiene attive le funzionalità e i carichi di lavoro di IA ritentando automaticamente le richieste ed effettuando in modo trasparente il failover sui modelli di backup ai bordi della rete quando un provider primario smette di funzionare.

Come posso impedire a un agente fuori controllo di esaurire il mio budget o la mia quota?

ARC applica la limitazione della velocità per chiave virtuale, limitando quanto può consumare ogni singola applicazione, agente o utente. Questo protegge il tuo budget e le quote del provider upstream dall'esaurimento causato da loop incontrollati di agenti autonomi o picchi di traffico imprevisti.

Cos’è il Firewall IA di Fastly?

AI Firewall protegge le applicazioni di IA dagli attacchi che prendono di mira specificamente i modelli, come i tentativi di prompt injection in cui un input in linguaggio naturale tenta di innescare azioni indesiderate. L’AI Firewall di Fastly è progettato appositamente per queste minacce specifiche dell’IA, a differenza di un tradizionale firewall per applicazioni web.

In che modo l’AI Firewall di Fastly rileva e blocca gli attacchi di prompt injection?

Tramite un processo in tre passaggi: le richieste vengono prima esaminate dal motore di rilevamento SmartParse di Fastly per individuare minacce specifiche per gli LLM, vengono inseriti guardrail per sanificare le risposte e gli output vengono convalidati per le risposte di rifiuto e la protezione dalle fughe di dati.

Qual è la differenza tra il controllo in runtime per l’IA e il firewall per l’IA? Ho bisogno di entrambi?

ARC è il control plane che gestisce il traffico IA, i costi e l'affidabilità tra i provider. AI Firewall è un livello di sicurezza che viene distribuito all'interno di ARC, aggiungendo il rilevamento delle minacce e guardrail. La maggior parte delle organizzazioni esegue AI Firewall nell'ambito della propria distribuzione di ARC sia per la governance che per la protezione.

Cerchi altro?

Fastly aderisce alla Agentic AI Foundation
Fastly è entrata a far parte della Agentic AI Foundation (AAIF) per garantire che i protocolli che regolano le interazioni agentiche siano costruiti in base alla scala e alla velocità degli ambienti di produzione reali
MCP ai bordi della rete
I cicli dell’agente effettuano decine di chiamate agli strumenti per ciascuna attività. Scopri come l’MCP stateless ai bordi della rete trasforma ciascuna di esse in un hop inferiore al millisecondo.
Costruire un server MCP davvero sicuro con Fastly Compute
MCP può essere un campo minato per la sicurezza se lo costruisci in modo errato. Questo articolo fornisce una guida passo passo per distribuire su Fastly un server MCP sicuro e scalabile.

Pronto per iniziare?

Contattaci o crea un account