Fastly の AI Runtime Control : AI 戦略にコントロールプレーンが必要な理由

Fastly は15年以上にわたり、何千もの企業が高速で安全、かつ魅力的なユーザー体験を提供できるよう支援してきました。しかし、そうした体験は、もはや人間だけのものではなくなりつつあります。エージェントとボットが、誰も予想しなかったほどの速さでインターネットを席巻しているためです。今年1月から5月にかけて、Fastly のネットワークでは、AI によるリクエスト数が約30％増加しました。これは、同期間における人間によるトラフィックの増加ペースの約6.5倍に相当します。まるで、人間向けに構築された従来のインターネットと並行して、もう一つのインターネットが動いているかのようです。 

そこで今回、アプリケーションと、ご利用の LLM やその他のモデルのプロバイダーとの間に位置するコントロールプレーンとして、AI Runtime Control (ARC) をご紹介します。すべてのモデル呼び出しを一元的にルーティングすることで、アクセスを管理し、コストを把握するとともに、AI トラフィックが増加しても、システムの安定した運用を維持できるよう支援します。

企業が現在抱える課題

エンジニアリング部門やプラットフォーム部門のリーダーに、自社の組織が LLM プロバイダーとどのように連携しているかと尋ねると、大抵の場合、似たような答えが返ってきます。OpenAI、Anthropic、Google などの各プロバイダーの API をチームが直接利用し、API キーも開発者やプロジェクト間でばらばらに受け渡されている、というものです。AI トラフィックをコントロールしようとすると、チームはコスト追跡、ログ記録、レート制限などにそれぞれ別のツールを使用する、個別のソリューションをつなぎ合わせることになりがちです。個々のソリューションが対応できるのは問題の一部にすぎず、ソリューション同士は連携できません。それぞれにかかるコストを一元的に把握できず、支出を特定のアプリケーションやチームに正確に紐づける方法もありません。また、コンプライアンス部門やセキュリティ部門から、プロンプトがどのように処理されたのか、顧客データが最終的にどこに渡ったのかを尋ねられても、一貫したログが残されていません。AI の導入が拡大するにつれ、こうした課題に伴うコストとリスクは、月を追うごとに増大していきます。

Fastly AI Runtime Control の仕組み

AI Runtime Control がこのギャップを埋めます。複数の個別ソリューションを管理するのではなく、ビジネスの変革に合わせて拡張できる、包括的かつ統合されたアプローチを採用することで、メリットが得られます。ARC では、アプリやエージェントによるすべてのモデル呼び出しが、Fastly によって管理される単一のエンドポイントを経由します。このエンドポイントでは、アプリごとに仮想キーを発行できるほか、トークンの使用量と費用を実際の利用主体に紐付け、使用するモデルに関するポリシーを適用できます。

しかし、ARC は単なるゲートウェイではありません。単一のエンドポイントから多数のモデルにアクセスできるのは便利ですが、今やそれは最低限求められる機能にすぎず、真に統合されたコントロールプレーンとは言えません。

ARC は、ゲートウェイだけでは対応しきれない領域をカバーします。具体的には、モデルごとに仮想キーを簡単に作成、ローテーション、再発行、失効できる機能、特定のアプリケーション、セッション、個々の開発者、チームへのコストの紐付け、独自の検知機能とガードレールによる LLM 固有の脅威の緩和、プロバイダーでエラーが発生した際の自動フェイルオーバー、そして、すべての AI インタラクションにおけるリクエストとレスポンスの完全なログ記録です。

ARC は BYOK (独自キーの持ち込み) にも対応しています。既存のプロバイダーとの取引関係や、交渉済みの料金をそのまま維持できます。私たちは、お客様とモデルの間に割り込もうとしているわけではありません。モデルを取り巻くコントロールレイヤーを構築し、単一の共有エンドポイントでは得られなかったガバナンス、可視性、セキュリティ、レジリエンスを提供します。これを現在実現している機能をいくつか紹介します。

• 仮想キーによるアクセスの統制 : Slack チャンネルで単一のプロバイダーキーを共有するのではなく、アプリ、チーム、開発者ごとに専用の仮想キーを割り当てることができます。管理者は、クライアント側のコードを変更することなく、仮想キーの作成やローテーション、アクセス権の取り消しを即座に実行できます。これにより、シャドー AI やバイブコーディングの無秩序な拡大を可視化できます。

• LLM 固有の攻撃から保護 : AI Firewall が ARC 内で動作し、モデルを標的とする自然言語による攻撃に対して、オプションのセキュリティレイヤーを提供します。また、Fastly の SmartParse 検出エンジンの更新版とカスタムガードレールを活用し、プロンプトインジェクションをはじめとする LLM 固有の攻撃を検知します。

• コストをリアルタイムで把握 : トークンとリクエストの使用状況を、個々のキー、セッション、プロバイダー単位でリアルタイムに把握できます。個々の仮想キーに月間の利用額上限を直接設定し、確実に適用することで、事後的なコスト管理から、あらかじめ支出を制御する仕組みへと移行できます。

• レジリエンスを標準で組み込む : 仮想キーには、プライマリモデル、フォールバック先、さらにその次の候補という順で、接続先を設定できます。プライマリプロバイダーでエラーが発生した場合、ARC は自動的に再試行し、呼び出し元に対して透過的に、次の接続先にフェイルオーバーします。キーごとのレート制限と組み合わせることで、プロバイダーの障害やエージェントの暴走が発生しても、本番環境の AI 機能まで停止する事態を防げます。

• すべてを監査 : プロンプトと生成結果の両方について、リクエストとレスポンスを完全にログに記録し、ユーザー、モデル、プロバイダー、日付範囲で検索できます。顧客データがどのように利用されたのか、あるいは公開モデルで処理されたのかを法務部門やコンプライアンス部門から尋ねられても、答えに窮することなく、具体的に回答できます。

AI によって、高性能で堅牢なエンタープライズグレードのインフラストラクチャが不要になるわけではありません。むしろ、リクエストの送信元が人間であっても、その人に代わって動作するエージェントであっても、リクエスト処理に求められる水準は高まります。そうした AI トラフィックを特定し、制御しながらレジリエンスを確保することが、取り組みの出発点となります。

今すぐ ARC の利用を開始！今後の展開にもご期待ください

私たちは長年にわたり、人々がお客様のアプリケーションにアクセスする際のコントロールレイヤーとしての役割を築いてきました。ARC は、お客様のアプリケーションが AI にアクセスする際に同じ役割を果たします。すでに AI トラフィックが発生しており、その状況を一元的に把握・制御する仕組みがないと感じている場合は、ARC によって、まさにその課題を解消できます。また、ARC によって連携が一元化され、設定を変更したり、アーキテクチャを再設計したりすることなく、新しい機能を簡単に利用できるようになります。

Fastly は、今回発表した ARC を基盤として、今後も継続的に機能を拡充していきます。ARC により、安心してイノベーションを推進し、本番環境のインフラストラクチャと同様に AI を運用できるようになります。ARC の利用を開始する方法について詳しくは、ドキュメントをご覧ください。