可視性、コントロール、ガバナンスを、すべての AI コールに。

ARC は、組織全体の AI トラフィックを管理するコントロールプレーンであり、リアルタイムの支出追跡、アクセスコントロールの適用、AI モデル間の自動フェイルオーバーを実現します。これにより、チームは利用中のすべての AI プロバイダーについて、トークン使用量、コスト、リクエスト状況を一元的に把握できます。

ARC は、仮想キーやクライアントセッションにマッピングされた、入出力トークン数、リクエスト量、計算されたコストをリアルタイムで追跡します。リアルタイムのダッシュボードとリーダーボードにより、どのアプリ、チーム、開発者が最も支出を押し上げているかを正確に把握できるため、ホットスポットを迅速に特定して修正できます。

ARC は、プライマリプロバイダーがダウンした際に、リクエストを自動的に再試行し、エッジでバックアップモデルへ透過的にフェイルオーバーすることで、AI 機能とワークロードの稼働を維持します。

ARC は仮想キーごとにレート制限を適用し、単一のアプリケーション、エージェント、またはユーザーが消費できる量に上限を設定します。これにより、暴走した自律型エージェントのループや予期しないトラフィックスパイクによって予算やアップストリームプロバイダーのクォータが枯渇するのを防ぎます。

AI ファイアウォールは、自然言語入力によって意図しないアクションを引き起こそうとするプロンプトインジェクションの試行など、モデルを特に標的とする攻撃から AI アプリケーションを保護します。Fastly の AI ファイアウォールは、従来の Web アプリケーションファイアウォールとは異なり、こうした AI 特有の脅威専用に構築されています。

これには3つのステップからなるプロセスが使用されます。まず、Fastly の SmartParse 検出エンジンによって、LLM 特有の脅威がないか検査されます。次に、レスポンスをサニタイズするためにガードレールが挿入され、拒否レスポンスや情報漏えい防止のために出力が検証されます。

ARC は、プロバイダー全体にわたる AI トラフィック、コスト、信頼性を管理するコントロールプレーンです。AI ファイアウォールは、ARC 内にデプロイされ、脅威検出やガードレール機能を提供するセキュリティレイヤーです。ほとんどの組織は、ガバナンスと保護の両方を目的として、ARC デプロイの一部として AI ファイアウォールを運用しています。