エッジでの LLM プロンプトインジェクション検出

概要：このリポジトリは、Fastly Compute 内でネイティブに実行されるようにトレーニングおよび最適化された、機械学習によるプロンプトインジェクション分類モデルを提供します。これは、エッジで敵対的な AI プロンプトを検査してブロックするインライン・ファイアウォールとして機能します。

これはどのような中核的な問題を解決しますか？

従来の Web アプリケーションファイアウォール（WAF）では、LLM に対するセマンティック・プロンプト・インジェクション攻撃を検知できず、一方でセントラルクラウドでの一元的な検査は AI レスポンスに大きなレイテンシを追加します。

• 主なメリット 1: ペイロードがアップストリームの LLM モデルに到達する前に、リクエストパイプライン内で脅威メトリクスをネイティブに評価します。

• 主なメリット 2: 軽量でコンパイル済みのモデルをエッジで実行することで、脅威分析のレイテンシを最小限に抑えます。

アーキテクチャと技術スタックとは？

このソリューションはどのように構成および実行されますか？

• ステータス： Mark Kelly により完了しました。

• リポジトリ: https://github.com/fastly/injection-classifier-poc

主なセールスエンジニアリングのユースケースとは？

• AI Gateway Security Pitches: LLM をデプロイするチームにとって、ジェイルブレイクやプロンプト操作に対する信頼性の高い低レイテンシの保護が不可欠です。

• 高度なWAF機能: Basicなキーワード一致を超えて、高度でコンテンツ認識型のフィルタリングを処理する方法を示します。

Markdown ファイルはこちらでご覧ください