ログストリーミング: Microsoft Azure Blob Storage

Fastly のリアルタイムログストリーミング機能は、Microsoft Azure Blob Storage (Blob Storage) にログファイルを送信することができます。Blob Storage は、大量の非構造データを制御し、HTTP や HTTPS を使ってユーザーに配信するために使用される静的ファイルストレージサービスです。

Fastly ではサードパーティのサービスに関する設定等のサポートは行っておりません。詳細は Fastly's Terms of Service をご参照ください。

前提条件

Fastly サービスのログエンドポイントとして Blob Storage を追加する前に、Azure portal で Azure ストレージアカウントを作成する必要があります。アカウントの作成については、Microsoft のアカウント作成のドキュメントを確認してください。

Fastly 専用の共有アクセスシグネチャ (SAS) ユーザーを作成することをお勧めします。詳細については、Microsoft の共有アクセスシグネチャ (SAS) のドキュメントを確認してください。Fastly は以下のタイプの共有アクセス署名をサポートしています。

Blob に書き込み権限を提供する SAS トークンの例を紹介します。

sv=2018-04-05&ss=b&st=2018-04-29T22%3A18%3A26Z&sr=b&se=2020-04-30T02%3A23%3A26Z&sp=w&sig=Z%2FRHIX5Xcg0Mq2rqI3OlWTjEg2tYkboXr1P9ZUXDtkk%3D

SAS トークンの設定に使用する SAS トークン要素の詳細については、上記の Microsoft のドキュメントを参照してください。

ログエンドポイントとして Blob Storageを追加する

Azure アカウントに登録し、SAS トークンを作成した後、以下の手順にしたがって Blob Storage をログエンドポイントとして追加します。

  1. Deliver サービス
  2. Compute サービス
  1. リモートログストリーミングの設定に関するガイドの情報をご確認ください。

  2. Azure Blob Storage エリアで、Create endpoint をクリックします。
  3. 以下のように、Create a Microsoft Azure Blob Storage endpoint フィールドに入力します。
    • Name フィールドに、エンドポイントの分かりやすい名前を入力します。

    • Placement エリアで、生成された VCL のどこにログコールを配置するかを選択します。有効な値は、形式のバージョンのデフォルトなしです。詳細については、ログの配置の変更に関するガイドをご覧ください。

    • Log format フィールドに、ログフォーマットに使用するコンマ区切りの値 (CSV) としてフォーマットする文字列を入力します。詳細については、Azure Data Explorer のデータインジェストをご参照ください。
    • Storage account name フィールドに、データオブジェクトが保存される固有の Azure 名前空間を入力します。
    • Container フィールドに、ログを保存する Blob Storage コンテナの名前を入力します。詳細については、Microsoft の Blob storage に関するページを参照してください。
    • SAS token フィールドに、コンテナに関連するトークンを入力します。
有効期限が切れる前にトークンが更新されない場合、ログが機能しませんのでご注意ください。
  • (オプション) Maximum bytes フィールドに、最大ファイルサイズ (バイト数) を入力します。
  • (オプション) Period フィールドに、ログファイルのローテーションの頻度をコントロールするための間隔 (秒単位) を入力します。ローテーションでは、1つのファイルオブジェクトが終了し、新しいファイルオブジェクトが開始されますが、以前に作成されたファイルオブジェクトは削除されません。この値は、デフォルトでは3600秒です。

  • (オプション) タイムスタンプ形式フィールドに、ログファイル用のタイムスタンプ形式を入力します。デフォルトは strftime と互換性のある文字列です。詳細については、ログファイルの書き込み先の変更に関するガイドを参照してください。

  1. Advanced options をクリックして、以下のように、フィールドにすべて入力します。
    • (オプション) Path フィールドに、ファイルを保存するバケット内のパスを入力します。パスの末尾はスラッシュとなります。このフィールドを空白のままにすると、ファイルはバケットのルートパスに保存されます。詳細については、ログファイルの書き込み先の変更に関するガイドを参照してください。

    • (オプション) PGP 公開鍵フィールドに、Fastly がディスクに書き込む前にログファイルを暗号化するために使用する PGP 公開鍵を入力してください。コンテンツを読むには、秘密鍵で復号化する必要があります。PGP キーは PEM (プライバシー強化メール) 形式である必要があります。詳細については、ログの暗号化に関するガイドをご覧ください。

    • Select a log line format」エリアで、ログメッセージのログ行形式を選択します。詳細については、ログ行形式の変更に関するガイドをご覧ください。

    • (オプション) [圧縮]フィールドで、ログファイルに適用する圧縮形式を選択してください。ログ圧縮オプションの変更に関するガイドには、さらに詳しい情報があります。

  2. Create をクリックして、新しいログ記録エンドポイントを作成します。

  3. Activate メニューから、Activate on Production を選択して、設定の変更をデプロイします。

Fastly は Azure Blob Storage に継続的にログをストリーミングしますが、アップロードが完了するまでストレージポータルと API がファイルにアクセスすることはできません。

Azure Data Explorer のデータインジェスト

Azure Data Explorer は、ログとテレメトリのデータ検索サービスです。Data Explorer がデータを正しく取り込むには、ログをコンマ区切り値 (CSV) としてフォーマットする必要があります。ログエンドポイントを作成する際には、以下の手順に従ってください。

  • Log format を CSV 文字列 ( %H,%{time.start.sec}V,%{regsub(req.http.User-Agent, \{"""\}, \{""""\})}V) に設定します。
  • Advanced optionsSelect a log line format 欄で、blank を指定します。

詳細については、ログ行形式の変更に関するガイドを参照してください。