Accélérer les migrations : présentation de « Direct Fetch » pour Fastly Object Storage

Aujourd’hui, nous sommes ravis de vous présenter Direct Fetch, une nouvelle API puissante de transfert côté serveur S3, conçue pour vous permettre de transférer activement des données directement depuis un fournisseur de données compatible S3 vers Fastly Object Storage.

Le goulot d’étranglement des copies S3 traditionnelles

En règle générale, la migration de données avec un client compatible S3 tel que rclone consiste à télécharger des objets sur votre ordinateur local, puis à les transférer vers leur nouvelle destination. Cette méthode conventionnelle présente quelques limites :

• Double transfert de données : vous êtes obligé de télécharger les données, puis de les transférer via une application cliente.

• Limites du client : votre vitesse de transfert est limitée par la puissance de calcul de votre client local et par les contraintes de bande passante.

• Sauts de réseau Internet public : les données transitent souvent par le réseau Internet public, dont le comportement est imprévisible, ce qui augmente la latence et les coûts.

Comment Direct Fetch change la donne

Direct Fetch adopte une approche optimisée qui élimine totalement la nécessité de télécharger et de transférer des données via un client. Par rapport à la solution On-Demand Migration de Fastly, qui se déclenche passivement lorsqu’un utilisateur demande un objet, Direct Fetch est une opération d’écriture active. Tout client peut envoyer une requête PutObject ou UploadPart standard avec une charge utile vide (Content-Length : 0), en incluant plutôt l’URL des données sources dans l’en-tête fastly-object-storage-source-url. Fastly récupère l’objet directement depuis l’URL et l’écrit de manière synchrone dans votre bucket.

Les principaux avantages comprennent :

• Vitesse exceptionnelle : les transferts s’effectuent directement via le réseau hautement optimisé de Fastly, en contournant l’Internet public et les goulots d’étranglement au niveau des clients.

• Évolutivité pratiquement illimitée : un client ne peut pas dépasser les limites imposées par son propre matériel. Direct Fetch, en revanche, tire parti de l’immense capacité du cloud en périphérie de Fastly, ce qui permet à vos transferts d’évoluer en toute fluidité jusqu’aux limites considérables de la bande passante mondiale et des capacités de calcul de Fastly.

• Compute minimal côté client : votre client se contente d’orchestrer le transfert à l’aide d’une commande, sans avoir à traiter la charge utile des données proprement dite.

• Migrations sécurisées : vous pouvez utiliser des URL pré-signées dans l’en-tête personnalisé pour migrer des ressources privées sans jamais exposer vos identifiants à long terme.

Direct Fetch prend également en charge les transferts partiels : par exemple, lorsque vous utilisez UploadPart pour des téléchargements en plusieurs parties, vous pouvez inclure un en-tête Range standard (par exemple, bytes=0-41943039) afin de récupérer et de stocker uniquement la plage d’octets spécifiée en tant que partie. Notez que l’URL source doit renvoyer un HTTP 200 OK ou un 206 Partial Content pour que la copie puisse se poursuivre.

Commencez votre migration dès aujourd’hui

Direct Fetch est désormais disponible pour toute personne qui transfère des données vers Fastly Object Storage. Définissez l’en-tête fastly-object-storage-source-url dans une requête PutObject ou UploadPart et Fastly se chargera du transfert côté serveur.

Consultez notre documentation pour en savoir plus. Si vous prévoyez une migration à grande échelle et avez besoin d’une aide supplémentaire, n’hésitez pas à contacter votre équipe de gestion de compte Fastly pour en discuter plus en détail.