移行を加速 : Fastly Object Storage に新機能「Direct Fetch」を追加

この度、Fastly は S3 互換のソースプロバイダーから Fastly Object Storage へデータを直接転送できる新しい S3 サーバーサイド転送 API「Direct Fetch」を発表しました。

従来の S3 コピーのボトルネック

通常、rclone のような S3 互換クライアントを使用してデータを移行するには、オブジェクトをローカルマシンにダウンロードしてから、移行先にアップロードする必要があります。この従来の方法には、いくつかの制約があります。

• データの二重転送 : データをダウンロードしてから、クライアントアプリケーションを介してアップロードする必要があります。

• クライアントによる制約 : 転送速度は、ローカルクライアントの処理能力と帯域幅によって制限されます。

• パブリックインターネットのホップ : 予測不可能なパブリックインターネットを経由してデータが転送されることが多く、レイテンシとコストが増加します。

Direct Fetch で変わるデータ移行

Direct Fetch の最適化されたアプローチにより、クライアントを介したデータのダウンロードとアップロードが完全に不要になります。ユーザーがオブジェクトをリクエストすると受動的に起動する Fastly の On-Demand Migration とは異なり、Direct Fetch は能動的な書き込み操作を行います。任意のクライアントから、ペイロードが空 (Content-Length: 0) の標準的な PutObject または UploadPart リクエストを送信できます。その際、ペイロードの代わりに、ソースデータの URL を fastly-object-storage-source-url ヘッダーに指定します。Fastly は指定された URL からオブジェクトを直接取得し、バケットに同期的に書き込みます。

以下は主なメリットです。

• 圧倒的なスピード : オープンインターネットを経由せず、クライアント側のボトルネックを回避して、Fastly の高度に最適化されたネットワークを通じて直接転送します。

• 事実上無制限のスケーラビリティ : 単一のクライアントでは、自身のハードウェアの限界を超えてスケールすることはできません。しかし、Fastly のエッジクラウドが持つ膨大なキャパシティを活用する Direct Fetch によって、Fastly のグローバルな帯域幅とコンピューティング能力を最大限に活かし、転送をシームレスにスケールできます。

• クライアント側のコンピューティング処理を最小限に抑える : クライアントはコマンドで転送を指示するだけで、実際のデータペイロードを処理する必要はありません。

• 安全な移行 : 事前に署名された URL をカスタムヘッダーで指定することで、長期的に有効な認証情報を公開することなく、非公開のアセットを移行できます。

Direct Fetch は部分的な転送にも対応しています。例えば、マルチパートアップロードで UploadPart を使用する場合、標準の Range ヘッダー (例 : bytes=0-41943039) を指定して、そのバイト範囲だけを取得し、その部分のみを保存できます。コピーを実行するには、ソース URL が HTTP 200 OK または 206 Partial Content を返す必要があります。

今すぐ移行を開始

Direct Fetch は現在、Fastly Object Storage にデータを移行するすべての方にご利用いただけます。PutObject または UploadPart リクエストに fastly-object-storage-source-url ヘッダーを設定するだけで、Fastly がサーバーサイドで転送を処理します。

詳しくはドキュメントをご覧ください。大規模な移行を計画していて、追加のサポートが必要な場合は、詳細について Fastly のアカウントチームにお気軽にご相談ください。