OpenStreetMap s’adapte pour servir des millions d’utilisateurs dans le monde entier avec Fastly

Le défi

OpenStreetMap (OSM) a pour objectif "de réaliser une carte du monde et de mettre ces données cartographiques à la disposition de tous ceux qui ont besoin de données cartographiques, quelle que soit l’utilisation qu’ils en font." Grant Slater, ingénieur en fiabilité des sites et contributeur de longue date, compare le projet à Wikipédia, mais pour la cartographie. Avec plus de 10 millions de contributeurs enregistrés, OpenStreetMap a créé une ressource cartographique mondiale impressionnante. Vous utilisez probablement les données d’OpenStreetMap tous les jours avec Apple, Pokemon Go, MapBox et des dizaines de réseaux de transport en commun. Au fur et à mesure que le projet prenait de l’ampleur, l’équipe technique rencontrait d’importants problèmes d’infrastructure qui menaçaient sa capacité à fournir des données cartographiques fiables aux utilisateurs du monde entier.

La solution

L’équipe d’OpenStreetMap s’est tournée vers [le programme Fast Forward de Fastly] (https://www.fastly.com/fast-forward), qui offre chaque année des millions de dollars d’infrastructure en nature aux acteurs du Web ouvert afin de les aider à gérer leurs besoins complexes en matière de distribution de contenu. Comme l’explique Grant Slater, "nous tentions d’opérer notre propre CDN, mais c’était un véritable cauchemar. C’était devenu ingérable tellement c’était laborieux." La nature mondiale de la base d’utilisateurs d’OpenStreetMap a engendré des défis uniques, car les schémas d’utilisation suivent le soleil autour du monde. "Lorsque l’Asie se réveille le matin, on observe qu’un grand nombre de personnes accèdent aux cartes en Asie", explique Grant Slater. "Puis, plus tard dans la journée, l’Inde se réveille et l’accès augmente fortement, puis c’est au tour de l’Europe et enfin de la côte est des États-Unis."

OpenStreetMap a mis en œuvre les services CDN de Fastly pour gérer son service de génération de tuiles matricielles, qui convertit les données cartographiques brutes en cartes visuelles. Ce service est constamment mis à jour pour refléter les modifications apportées par les contributeurs à chaque minute. Slater explique : "Grâce à la façon dont nous avons pu personnaliser le CDN à l’aide du langage VCL pris en charge par Fastly, nous avons pu mettre en place un certain nombre de contrôles" pour gérer la charge sur leur infrastructure.

Gérer les pics de trafic inattendus sans interruption de service

OpenStreetMap connaît régulièrement des pics de trafic importants qui submergeraient la plupart des systèmes. Grant Slater se souvient d’un événement particulièrement difficile : "Je me suis réveillé un dimanche matin et j’ai vu que tous nos serveurs étaient complètement surchargés, parce que l’application officielle de suivi des coureurs du marathon de Londres a décidé d’utiliser les données OpenStreetMap de notre service de trame de tuiles matricielles pendant l’événement, ce qui a entraîné une saturation de nos services directs." Sans préavis, l’équipe a dû rapidement rediriger le trafic sur son infrastructure mondiale pour maintenir le service.

Le projet a également enregistré une augmentation significative de son utilisation par des applications populaires qui dépendent de leurs données. "Le jeu Pokémon Go était incroyable et beaucoup de gens s’y sont mis", raconte Grant Slater. "Tesla a commencé à mettre en place une fonction vous permettant d’appeler votre véhicule lorsqu’il est garé sur une place de stationnement dans un parking public. Les données utilisées proviennent d’OpenStreetMap. Nous avons donc eu un pic de personnes cartographiant ces données avec précision."

Avec l’aide de Fastly, OpenStreetMap maintient un impressionnant taux de connexion au cache de 92 %, que Grant Slater améliore régulièrement : "Je pense que nous étions à un taux de connexion au cache de 88 %. Maintenant, nous sommes à environ 92 %." Cette efficacité permet à leurs serveurs back-end de se concentrer sur la génération de nouveau contenu plutôt que de servir à plusieurs reprises les mêmes données, ce qui, au final, améliore les temps de réponse et l’expérience utilisateur globale, en particulier lors des pics de trafic."

Protéger l’intégrité des données grâce à des contrôles CDN personnalisés

Au-delà de la gestion du trafic, OpenStreetMap rencontre des problèmes d’accès abusifs, notamment ceux provenant des extracteurs de données utilisant l’intelligence artificielle. "Nous sommes confrontés à un problème croissant d’extraction de données par l’IA", explique Grant Slater. "Les sociétés anonymes d’extraction par IA tentent tout bonnement de tout télécharger. Elles essaient abusivement de télécharger chaque version de chaque page de chaque élément de donnée aussi vite que possible."

En utilisant les capacités VCL de Fastly, OpenStreetMap a mis en place des règles personnalisées pour protéger son infrastructure. "Nous avons élaboré des politiques d’accès par l’intermédiaire du CDN de Fastly et nous avons testé les nouveaux outils de Fastly pour bloquer certaines de ces pratiques abusives", explique Grant Slater. Ces contrôles permettent aux utilisateurs légitimes d’accéder aux données tout en empêchant les mauvais acteurs de submerger le système.

Passage aux tuiles vectorielles pour des expériences cartographiques plus riches

Récemment, OpenStreetMap a lancé un nouveau service de tuiles vectorielles qui représente une avancée significative par rapport à ses tuiles matricielles traditionnelles. "Le service de tuiles matricielles fournit efficacement des fichiers PNG, c’est-à-dire des images de rendu d’une carte", explique Grant Slater. "Le service de données vectorielles, au lieu de fournir des images au client, fournit des données découpées dans un format vectoriel. Le navigateur ou l’application y injecte ensuite son style."

Ce nouveau service, propulsé par la plateforme edge cloud de Fastly, garantit une mise à jour des données cartographiques toutes les minutes, offrant une rapidité et une réactivité sans précédent. Minh Nguyễn, facilitateur du développement du logiciel de base d’OSM, explique : "Ce service permet une personnalisation beaucoup plus riche et une prise en charge de plusieurs langues, ce qui était auparavant difficile en raison des limitations de l’infrastructure."

En tirant parti de la capacité de Fastly à mettre en cache le contenu dynamique en périphérie et de son excellent temps de chargement du premier octet qui est 32 % plus rapide que les CDN traditionnels, OpenStreetMap est en mesure de livrer des mises à jour cruciales et des personnalisations en temps quasi réel. Minh Nguyễn explique : "Les gens sont enthousiastes à l’idée de pouvoir voir l’intégralité de la carte dans leur langue. Grâce aux outils avancés de mise en cache et de visibilité en temps réel de Fastly, il est désormais possible de personnaliser la carte sans avoir à mettre en place une infrastructure importante.

Cette collaboration met en avant la scalabilité, les gains de performances et la personnalisation centrée sur le développeur possibles grâce à la plateforme de Fastly. OSM peut désormais livrer des expériences numériques supérieures à un public mondial, tout en minimisant la complexité opérationnelle et en garantissant la fiabilité.

Point clé

OpenStreetMap s’appuie sur les services CDN de Fastly pour livrer des données cartographiques à des millions d’utilisateurs dans le monde entier tout en gardant le contrôle de son infrastructure. "Nous gérons la configuration du CDN, mais nous savons qu’il est en place, qu’il fonctionne et qu’il est fiable. C’est donc un grand avantage pour nous", explique Grant Slater. En confiant la distribution de contenu à Fastly, la petite équipe de bénévoles qui gère OpenStreetMap peut se concentrer sur l’amélioration de ses données cartographiques et services plutôt que sur la gestion d’une infrastructure mondiale complexe. Le résultat est un service de cartographie plus réactif et fiable qui continue de croître et d’évoluer en fonction des besoins des utilisateurs mondiaux, car OpenStreetMap n’est pas seulement une carte – c’est la base de données géographiques sur laquelle s’appuie la logistique, les interventions d’urgence et d’innombrables applications dans le monde entier. Sans OpenStreetMap, une grande partie de la capacité du monde numérique à naviguer, à se connecter et à fonctionner serait réduite.