Presentamos AI Runtime Control de Fastly: por qué tu estrategia de IA necesita un plano de control

Durante más de 15 años, Fastly ha ayudado a miles de empresas a ofrecer experiencias rápidas, seguras y atractivas. Pero, cada vez más, esas experiencias ya no son solo para personas. Los agentes y bots están tomando el control de internet más rápido de lo que nadie había previsto. De enero a mayo de este año, observamos que las solicitudes de IA en nuestra propia red aumentaron aproximadamente un 30 %, unas 6.5 veces más rápido de lo que creció el tráfico humano durante el mismo periodo. Es como si ahora tuviéramos una segunda Internet que funciona en paralelo a la que se construyó originalmente para las personas. 

Por eso, hoy presentamos AI Runtime Control (ARC), un plano de control que se sitúa entre tus aplicaciones y tus proveedores de LLM y otros modelos. Cada llamada que haces a un modelo pasa por un único punto para controlar el acceso, dar seguimiento al gasto y ayudarte a mantener la resiliencia a medida que crece el tráfico de IA.

Las carencias que enfrentan las empresas hoy

Si preguntas a la mayoría de los líderes de ingeniería o de plataforma cómo se comunica su organización con los proveedores de LLM, escucharás alguna versión de la misma historia: los equipos llaman directamente a OpenAI, Anthropic, Google y otros proveedores, mientras un conjunto disperso de claves de API en bruto circula entre desarrolladores y proyectos. Cuando intentan controlar el tráfico de IA, los equipos suelen terminar armando un conjunto improvisado de soluciones puntuales: una herramienta para dar seguimiento al costo, otra para el logging y otra para la limitación de velocidad. Cada solución puntual aborda solo una parte del problema y "none" puede comunicarse con las demás. No hay una visión unificada de cuánto cuesta todo esto, ni una forma confiable de atribuir el gasto a una aplicación o un equipo específico, ni un logging uniforme cuando las áreas de cumplimiento normativo o seguridad preguntan cómo se gestionó un prompt o a dónde fue a parar un dato de un cliente. Estas brechas se vuelven más costosas y riesgosas cada mes que crece la adopción de la IA.

AI Runtime Control de Fastly por dentro

AI Runtime Control cierra esa brecha. En lugar de intentar administrar una serie de soluciones puntuales, obtienes beneficio de un enfoque integral e integrado que puede aumentar de escala a medida que transformas tu negocio. Con ARC, todas las llamadas a modelos que hacen tus aplicaciones y agentes pasan por un único punto de conexión administrado por Fastly. Allí puedes emitir claves virtuales para cada aplicación, atribuir el uso de tokens y los gastos a quienes realmente los generan y aplicar políticas que determinen qué modelos se utilizan.

Pero ARC es mucho más que una puerta de enlace. Tener un único punto de conexión que permita acceder a varios modelos es útil, pero a estas alturas ya podría considerarse un requisito básico, no un verdadero plano de control unificado. 

ARC entra en acción donde una puerta de enlace deja de aportar valor: ofrece claves virtuales específicas de cada modelo que puedes crear, rotar, renovar o revocar fácilmente; atribución del gasto a aplicaciones, sesiones, desarrolladores o equipos específicos; detección y medidas de protección propias para mitigar amenazas específicas de los LLM; conmutación por error automática cuando un proveedor presenta un error; y logging completo de solicitudes y respuestas para cada interacción con la IA.

ARC también te permite usar tus propias claves (BYOK). Mantienes las relaciones que ya tienes con tus proveedores y las tarifas que negociaste. No buscamos interponernos entre ti y tu modelo. Estamos construyendo la capa de control a su alrededor para aportar la gobernanza, visibilidad, seguridad y resiliencia que un único punto de conexión compartido nunca se diseñó para ofrecer. Estas son algunas de las capacidades que hacen que esto sea una realidad hoy:

• Controla el acceso con claves virtuales. En lugar de compartir una única clave del proveedor a través de un canal de Slack, cada aplicación, equipo o desarrollador recibe su propia clave virtual. Los administradores pueden crear claves, rotarlas o revocar el acceso al instante, sin cambiar el código del lado del cliente. Esto también te da visibilidad sobre la IA en la sombra y la proliferación del vibe coding.

• Protégete contra los ataques específicos de LLM. AI Firewall opera dentro de ARC y ofrece una capa opcional de seguridad contra ataques en lenguaje natural dirigidos a los modelos. Aprovecha una versión actualizada del motor de detección SmartParse de Fastly y barreras de protección personalizadas para detectar ataques como la inyección de prompts y otros ataques específicos de LLM.

• Conoce tus gastos en tiempo real. El uso de tokens y solicitudes se muestra en tiempo real, desglosado por clave, sesión y proveedor. Pasa de un gasto reactivo a medidas de protección financiera proactivas al aplicar límites de presupuesto mensual en dólares exigibles directamente a claves virtuales individuales.

• Construye resiliencia de forma predeterminada. Una clave virtual puede apuntar a una lista ordenada de destinos: tu modelo principal, luego uno al que retroceder y después otro. Si el proveedor principal presenta un error, ARC reintenta automáticamente la operación y cambia al siguiente destino sin que quien realiza la llamada lo note. En combinación con la limitación de velocidad por clave, esto significa que una interrupción del servicio del proveedor o un agente descontrolado no provocarán la caída de tu función de IA en producción.

• Audita todo. Logging completo de solicitudes y respuestas, tanto de prompts como de completions, con búsquedas por usuario, modelo, proveedor y rango de fechas. Cuando el área legal o la de cumplimiento preguntan cómo se usó un dato de un cliente o si pasó por un modelo público, hay una respuesta concreta en lugar de encogerse de hombros.

La IA no elimina la necesidad de contar con infraestructura de alto rendimiento, reforzada y de nivel empresarial; eleva los requisitos de cada solicitud, tanto si al otro extremo hay una persona como si hay un agente que actúa en su nombre. El trabajo empieza por identificar ese tráfico, controlarlo y hacerlo resiliente.

¡Empieza con ARC hoy! Lo mejor está por venir 

Llevamos años convirtiéndonos en la capa de control de cómo las personas acceden a tus aplicaciones. Con ARC, hacemos lo mismo con la forma en que tus aplicaciones acceden a la IA. Si ya estás enviando tráfico real de IA y notas que te falta un lugar único para verlo y controlarlo, ese es precisamente el vacío que ARC está diseñado para llenar. Y como ARC ofrece una única ruta de integración, puedes acceder fácilmente a nuevas funciones y capacidades sin tener que reconfigurar ni rediseñar la arquitectura. 

Lo que anunciamos hoy es la base sobre la que seguiremos construyendo. AI Runtime Control te permite innovar con confianza y operar la IA como operas tu infraestructura de producción. Consulta nuestra documentación para obtener más información sobre cómo empezar.