Migrationen beschleunigen: Einführung von Direct Fetch für Fastly-Objektspeicher
Beschleunigen Sie Ihre Datenmigrationen mit der neuen Direct Fetch API von Fastly für Objektspeicher. Übertragen Sie direkt von S3-kompatiblen Quellen und umgehen Sie Client-Limits.

Heute freuen wir uns, Direct Fetch anzukündigen, eine leistungsstarke neue serverseitige S3-Transfer-API, die Ihnen dabei helfen soll, Daten aktiv direkt von einem S3-kompatiblen Quellanbieter in Fastly Object Storage zu übertragen.
Der Engpass bei herkömmlichen S3-Kopien
Normalerweise bedeutet die Migration von Daten mit einem S3-kompatiblen Client wie rclone, Objekte auf Ihren lokalen Rechner herunterzuladen und sie anschließend an ihren neuen Zielort hochzuladen. Diese herkömmliche Methode hat einige Einschränkungen:
Doppelte Datenübertragung: Sie sind gezwungen, die Daten herunterzuladen und sie dann über eine Client-App hochzuladen.
Client-Einschränkungen: Ihre Übertragungsgeschwindigkeit ist durch die Rechenleistung und Bandbreitenbeschränkungen Ihres lokalen Clients begrenzt.
Öffentliche Internet-Hops: Die Daten werden häufig über das unvorhersehbare öffentliche Internet übertragen, was zu einer erhöhten Latenz und höheren Kosten führt.
Wie Direct Fetch die Spielregeln verändert
Direct Fetch verfolgt einen optimierten Ansatz, der das Herunterladen und Hochladen von Daten über einen Client vollständig überflüssig macht. Im Vergleich zu Fastlys Migration auf Abruf, die passiv ausgelöst wird, wenn ein Nutzer ein Objekt anfordert, handelt es sich bei Direct Fetch um einen aktiven Schreibvorgang. Jeder Client kann eine standardmäßige PutObject- oder UploadPart-Anfrage mit einem leeren Payload (Content-Length: 0) senden, wobei stattdessen die URL der Quelldaten im fastly-object-storage-source-url-Header angegeben wird. Fastly ruft das Objekt direkt von der URL ab und schreibt es synchron in Ihren Bucket.
Zu den wichtigsten Vorteilen gehören:
Enorme Geschwindigkeit: Übertragungen erfolgen direkt über das hochgradig optimierte Netzwerk von Fastly und umgehen dabei das offene Internet sowie Engpässe auf Clientseite.
Nahezu grenzenlose Skalierung: Ein einzelner Client kann nicht über seine eigenen Hardwareeinschränkungen hinaus skalieren. Direct Fetch nutzt jedoch die immense Kapazität der Edge Cloud von Fastly, wodurch Ihre Übertragungen nahtlos bis zu den enormen Limits der globalen Bandbreite und Rechenkapazitäten von Fastly skalieren können.
Minimaler Client-Compute: Ihr Client orchestriert die Verschiebung einfach per Befehl, ohne die eigentliche Daten-Payload verarbeiten zu müssen.
Sichere Migrationen: Sie können vorab signierte URLs im Custom-Header verwenden, um private Assets zu migrieren, ohne jemals langfristige Zugangsdaten offenzulegen.
Direct Fetch unterstützt auch Teilübertragungen: Beispielsweise können Sie bei Multipart-Uploads mit UploadPart einen standardmäßigen Range-Header mitsenden (z. B. bytes=0-41943039), um nur den angegebenen Bytebereich als diesen Teil abzurufen und zu speichern. Beachten Sie, dass die Quell-URL einen HTTP 200 OK- oder 206 Partial Content-Status zurückgeben muss, damit der Kopiervorgang fortgesetzt werden kann.
Beginnen Sie noch heute mit der Migration
Direct Fetch ist jetzt für alle verfügbar, die Daten in den Fastly-Objektspeicher übertragen. Setzen Sie den fastly-object-storage-source-url-Header bei einer PutObject- oder UploadPart-Anfrage, und Fastly übernimmt die Übertragung serverseitig.
Weitere Informationen finden Sie in unserer Dokumentation. Wenn Sie eine groß angelegte Migration planen und zusätzliche Unterstützung benötigen, zögern Sie nicht, sich an Ihr Fastly-Account-Team zu wenden, um die Einzelheiten zu besprechen.







