エッジでの LLM プロンプトインジェクション検出

概要：このリポジトリは、Fastly Compute 内でネイティブに実行されるようにトレーニングおよび最適化された、機械学習によるプロンプトインジェクション分類モデルを提供します。これは、エッジで敵対的な AI プロンプトを検査してブロックするインライン・ファイアウォールとして機能します。

これはどのような中核的な問題を解決しますか？

従来の Web アプリケーションファイアウォール（WAF）では、LLM に対するセマンティック・プロンプト・インジェクション攻撃を検知できず、一方でセントラルクラウドでの一元的な検査は AI レスポンスに大きなレイテンシを追加します。

• 主なメリット 1: ペイロードがアップストリームの LLM モデルに到達する前に、リクエストパイプライン内で脅威メトリクスをネイティブに評価します。

• 主なメリット 2: 軽量でコンパイル済みのモデルをエッジで実行することで、脅威分析のレイテンシを最小限に抑えます。

アーキテクチャと技術スタックとは？

このソリューションはどのように構成および実行されますか？

• ステータス： Mark Kelly により完了しました。

• リポジトリ: https://github.com/fastly/injection-classifier-poc

主なセールスエンジニアリングのユースケースとは？

• AI ゲートウェイセキュリティのセールストーク : LLM を導入し、ジェイルブレイクやプロンプト操作に対して信頼性が高く、遅延が少ない保護を必要とするチームにとって非常に重要です。
  
  本番環境の AI ワークロード向けに、Fastly AI Runtime Control は、一元化されたトラフィック管理、ログ記録、コストコントロールに加えて、AI Firewall による保護を提供します。
  

• 高度なWAF機能: Basicなキーワード一致を超えて、高度でコンテンツ認識型のフィルタリングを処理する方法を示します。

Markdown ファイルはこちらでご覧ください