Presentamos AI Runtime Control de Fastly: por qué tu estrategia de IA necesita un plano de control

Fastly lleva más de 15 años ayudando a miles de empresas a ofrecer experiencias rápidas, seguras y atractivas. Pero, cada vez más, esas experiencias ya no son solo para personas. Los agentes y los bots están tomando internet más rápido de lo que nadie había previsto. Entre enero y mayo de este año, observamos que las peticiones de IA en nuestra propia red aumentaron aproximadamente un 30 %, unas 6,5 veces más rápido de lo que creció el tráfico humano durante el mismo periodo. Es como si ahora tuviéramos una segunda internet que funciona en paralelo a la que se creó originalmente para las personas. 

Por eso, hoy presentamos AI Runtime Control (ARC), un nivel de control situado entre tus aplicaciones y tus proveedores de LLM y otros modelos. Cada llamada que haces a un modelo pasa por un único punto para controlar el acceso, hacer un seguimiento del gasto y ayudarte a mantener la resiliencia a medida que aumenta el tráfico de IA.

Las carencias con las que conviven hoy las empresas

Pregunta a la mayoría de los responsables de ingeniería o de plataformas cómo se comunica su organización con los proveedores de LLM y oirás distintas versiones de la misma historia: los equipos recurren directamente a OpenAI, Anthropic, Google y otros proveedores, mientras comparten claves de API en bruto entre desarrolladores y proyectos. Cuando se intenta controlar el tráfico de IA, los equipos suelen acabar combinando soluciones puntuales: una herramienta para hacer seguimiento de los costes, otra para la creación de registros y otra para la limitación de frecuencia. Cada solución puntual aborda solo una parte del problema y "none" se comunica con las demás. No hay una visión unificada de lo que cuesta todo ello, ni una forma fiable de atribuir el gasto a una aplicación o un equipo concretos, ni una creación de registros sistemática que permita responder cuando los responsables de cumplimiento normativo o seguridad preguntan cómo se gestionó un prompt o dónde acabaron determinados datos de un cliente. Estas carencias se vuelven más costosas y arriesgadas cada mes que crece la adopción de la IA.

Así es AI Runtime Control de Fastly

AI Runtime Control cubre esa carencia. En lugar de intentar gestionar una serie de soluciones puntuales, puedes aprovechar las ventajas de un enfoque integral e integrado que puede escalar a medida que transformas la empresa. Con ARC, todas las llamadas a modelos que realizan tus aplicaciones y agentes pasan por un único punto de conexión gestionado por Fastly. Desde ahí, puedes emitir claves virtuales para cada aplicación, atribuir el uso de tokens y el gasto a quien realmente los genera y aplicar políticas que determinen qué modelos se pueden utilizar.

Pero ARC es mucho más que una pasarela. Disponer de un único punto de conexión que dé acceso a varios modelos es útil, pero a estas alturas podría considerarse un requisito mínimo, no un verdadero plano de control unificado. 

ARC va más allá de lo que ofrece una pasarela gracias a las claves virtuales específicas para cada modelo, que se pueden crear, rotar, renovar o revocar fácilmente; la atribución del gasto a aplicaciones, sesiones, desarrolladores o equipos concretos; los mecanismos propios de detección y protección para mitigar amenazas específicas de los LLM; un sistema automático de recuperación de fallos cuando un proveedor presenta un error; y la creación de registros completos de cada petición y respuesta en todas las interacciones con la IA.

ARC también te permite usar tu propia clave (BYOK). Mantienes las relaciones que ya tienes con tus proveedores y las tarifas que has negociado. No pretendemos interponernos entre ti y tu modelo; estamos creando a su alrededor un nivel de control, un nivel de gobernanza, visibilidad, seguridad y resiliencia que un único punto de conexión compartido nunca se diseñó para ofrecer. Estas son algunas de las capacidades que lo hacen realidad hoy:

• Gestiona el acceso con claves virtuales. En lugar de compartir una única clave de proveedor por un canal de Slack, cada aplicación, equipo o desarrollador recibe su propia clave virtual. Los administradores pueden crear o rotar claves y revocar el acceso al instante, sin cambiar el código del lado del cliente. Esto también te da visibilidad sobre la IA en la sombra y la proliferación del «vibe coding».

• Protégete contra ataques específicos de LLM. AI Firewall funciona dentro de ARC y proporciona un nivel opcional de seguridad frente a ataques en lenguaje natural dirigidos a los modelos. Utiliza una versión actualizada del motor de detección SmartParse de Fastly y barreras de protección personalizadas para detectar ataques como la inyección de comandos y otros ataques específicos de LLM.

• Conoce tus gastos en tiempo real. El uso de tokens y peticiones se puede consultar en tiempo real, desglosado hasta el nivel de cada clave, sesión y proveedor. Pasa de un gasto reactivo a mecanismos de protección financiera proactivos aplicando límites vinculantes de presupuesto mensual en dólares directamente a claves virtuales individuales.

• Crea resiliencia por defecto. Una clave virtual puede apuntar a una lista ordenada de destinos: primero, el modelo principal; después, uno alternativo y, a continuación, otro. Si el proveedor principal devuelve un error, ARC vuelve a intentar la petición y cambia automáticamente al siguiente destino, sin que quien realiza la llamada lo perciba. Combinado con la limitación de frecuencia por clave, esto significa que una interrupción del servicio del proveedor o un agente descontrolado no dejarán fuera de servicio una funcionalidad de IA en producción.

• Audítalo todo. Creación de registros completos de peticiones y respuestas tanto para prompts como para completaciones, con búsquedas por usuario, modelo, proveedor e intervalo de fechas. Cuando el departamento jurídico o el de cumplimiento normativo pregunta cómo se utilizaron determinados datos de un cliente o si llegaron a un modelo público, se puede dar una respuesta concreta en lugar de encogerse de hombros.

La IA no elimina la necesidad de contar con una infraestructura de alto rendimiento, reforzada y de nivel empresarial: eleva las exigencias de cada petición, tanto si al otro lado hay una persona como un agente que actúa en su nombre. Identificar ese tráfico, gestionarlo y dotarlo de resiliencia es solo el principio del trabajo.

¡Comienza hoy mismo con ARC! Lo mejor está por venir 

Llevamos años consolidándonos como el nivel de control del acceso de las personas a tus aplicaciones. Con ARC, hacemos lo mismo con el acceso de tus aplicaciones a la IA. Si ya estás enviando tráfico de IA real y echas en falta un único lugar desde el que verlo y controlarlo, ARC se ha creado precisamente para cubrir esa necesidad. Y como ARC ofrece una única ruta de integración, puedes acceder fácilmente a nuevas funciones y capacidades sin tener que volver a configurar ni rediseñar la arquitectura. 

Lo que anunciamos hoy es la base sobre la que seguiremos creando. AI Runtime Control te permite innovar con confianza y gestionar la IA como gestionas la infraestructura de producción. Consulta nuestra documentación para obtener más información sobre cómo empezar.