OpenStreetMap skaliert, um Millionen von Nutzern weltweit mit Fastly zu bedienen

Die Herausforderung

OpenStreetMap (OSM) hat sich zum Ziel gesetzt, „eine Karte der Welt zu erstellen und diese Kartendaten allen zur Verfügung zu stellen, die Kartendaten benötigen, unabhängig von ihrem Verwendungszweck.“ Grant Slater, Site Reliability Engineer und langjähriger Mitwirkender, vergleicht das Projekt mit Wikipedia, nur eben für die Kartierung. Mit über 10 Millionen registrierten Mitwirkenden hat OpenStreetMap eine beeindruckende globale Kartierungsressource geschaffen. Wahrscheinlich nutzen Sie die Daten von OpenStreetMap jeden Tag mit Apple, Pokémon Go, MapBox und Dutzenden von Transitsystemen. Mit dem Wachstum des Projekts sah sich das technische Team mit erheblichen Infrastrukturproblemen konfrontiert, die seine Fähigkeit gefährdeten, Nutzern weltweit zuverlässige Kartendaten bereitzustellen.

Die Lösung

Das OpenStreetMap-Team wandte sich an das Fast Forward-Programm von Fastly, wo jährlich Millionen von Dollar in Form von Infrastruktur an die Erbauer des Open Web gespendet werden, um ihnen bei der Verwaltung ihrer komplexen Anforderungen an die Verbreitung von Inhalten zu helfen. Wie Slater erklärt, „haben wir früher versucht, unser eigenes CDN zu betreiben, und das war ein absoluter Albtraum.“ Es war sehr mühsam und wurde zunehmend unhaltbar.“ Der globale Charakter der Nutzerbasis von OpenStreetMap stellte uns vor besondere Herausforderungen, da die Nutzungsmuster dem Lauf der Sonne um die Welt folgen. „Asien erwacht morgens, und viele Menschen greifen auf die Kartenausschnitte in Asien zu“, bemerkt Slater. „Später am Tag erwacht dann Indien und verzeichnet ein hohes Zugriffsmuster, dann Europa und schließlich die Ostküste der USA.“

OpenStreetMap nutzte die CDN-Dienste von Fastly für die Generierung von Rasterkacheln, wodurch Rohkartendaten in visuelle Kartenkacheln umgewandelt werden. Dieser Service wird ständig aktualisiert, um die von den Mitwirkenden minütlich vorgenommenen Änderungen widerzuspiegeln. Slater erklärt: „Dank der Möglichkeit, das CDN mit der von Fastly unterstützten VCL-Sprache anzupassen, können wir eine Reihe von Kontrollen implementieren“, um die Lastverteilung in der Infrastruktur zu steuern.

Bewältigung unerwarteter Traffic-Spitzen ohne Serviceunterbrechung

OpenStreetMap erlebt regelmäßig dramatische Traffic-Spitzen, die die meisten Systeme überfordern würden. Slater erinnert sich an ein besonders herausforderndes Ereignis: „Ich wachte an einem Sonntagmorgen auf und sah, dass alle unsere Server völlig überlastet waren. Der Grund dafür war, dass die offizielle App zur Verfolgung der Läufer des London-Marathons während der Veranstaltung OpenStreetMap-Daten aus unserem Kachelrasterdienst nutzte und damit unsere direkten Services voll auslastete.“ Ohne Vorwarnung musste das Team den Traffic in seiner globalen Infrastruktur schnell umleiten, um den Service aufrechtzuerhalten.

Das Projekt verzeichnete zudem einen deutlichen Nutzungsanstieg bei populären Apps, die auf ihre Daten angewiesen sind. „Das Pokémon Go-Spiel war unglaublich, deshalb haben es so viele Leute ausprobiert“, bemerkt Slater. „Tesla hat eine Funktion eingeführt, mit der man sein Fahrzeug auf Parkplätzen in öffentlichen Parkbereichen herbeirufen kann.“ Die verwendeten Daten stammten von OpenStreetMap. Wir verzeichneten also einen sprunghaften Anstieg bei der Anzahl der Personen, die diese Daten korrekt kartierten.“

Mit der Hilfe von Fastly hält OpenStreetMap eine beeindruckende Cache-Hitrate von 92 %, die Slater stetig verbessert: „Ich denke, wir lagen bei einer Cache-Hitrate von 88 %. Und jetzt liegen wir bei etwa 92 %.“ Diese Effizienz ermöglicht es den Backend-Servern, sich auf das Generieren neuer Inhalte zu konzentrieren, anstatt immer wieder dieselben Daten auszuliefern. Dies verbessert letztendlich die Antwortzeiten und optimiert das gesamte Nutzererlebnis, insbesondere bei Traffic-Spitzen.

Schutz der Datenintegrität mit maßgeschneiderten CDN-Steuerungen

Über das Traffic-Management hinaus steht OpenStreetMap vor Herausforderungen durch missbräuchliche Zugriffsmuster, insbesondere durch KI-gestützte Daten-Scraper. „Wir haben ein wachsendes Problem mit KI-Daten-Scrapern“, erklärt Slater. „Im Grunde anonyme KI-gestützte Web-Scraping-Unternehmen versuchen einfach, alles herunterzuladen, und zwar in einem missbräuchlichen Muster, indem sie jede einzelne Version jeder einzelnen Seite jedes einzelnen Datenbits so schnell wie möglich herunterladen.“

Mithilfe der VCL-Funktionen von Fastly implementierte OpenStreetMap maßgeschneiderte Regeln zum Schutz seiner Infrastruktur. „Wir haben Zugriffsrichtlinien über das CDN von Fastly entwickelt und haben die neuen Tools von Fastly getestet, um einige dieser missbräuchlichen Muster zu blockieren“, bemerkt Slater. Diese Kontrollen ermöglichen es legitimen Nutzern, auf die Daten zuzugreifen, und verhindern gleichzeitig, dass böswillige Akteure das System überlasten.

Umstellung auf Vektorkacheln für ein intensiveres Kartenerlebnis

Kürzlich hat OpenStreetMap einen neuen Vektorkacheldienst eingeführt, der einen bedeutenden Fortschritt gegenüber den herkömmlichen Rasterkacheln darstellt. „Der Rasterdienst liefert effektiv PNG-Dateien, also Bilder einer gerenderten Karte“, erklärt Slater. „Der Vektordatendienst liefert dem Client keine Bilder, sondern zerlegte Daten im Vektorformat.“ Der Browser oder die App fügt dann ihr eigenes Styling ein.“

Dieser neue Service, der auf der Edge-Cloud-Plattform von Fastly basiert, gewährleistet, dass die Kartendaten jede Minute aktualisiert werden, und ermöglicht so eine beispiellose Geschwindigkeit und Reaktionsfähigkeit. Minh Nguyễn, der zentrale Softwareentwicklungsbeauftragte von OSM, erklärt: „Dieser Service ermöglicht eine wesentlich umfassendere individuelle Anpassung und unterstützte Programmiersprachen, was aufgrund von Infrastruktur-Beschränkungen zuvor eine Herausforderung darstellte.“

Durch die Nutzung der Fähigkeit von Fastly, dynamische Inhalte auf der Edge zwischenzuspeichern, und seiner überlegenen Time to First Byte (TTFB), die 32 % schneller ist als bei herkömmlichen CDNs, ist OpenStreetMap in der Lage, wichtige Aktualisierungen und Anpassungen nahezu in Echtzeit bereitzustellen. Minh erklärt: „Die Menschen sind begeistert von der Möglichkeit, die gesamte Karte in ihrer Sprache zu sehen.“ Mit den fortschrittlichen Caching- und Echtzeittransparenz-Tools von Fastly eröffnet sich für die Nutzer die Möglichkeit, die Karte anzupassen, ohne selbst viel Infrastruktur aufbauen zu müssen.“

Diese Zusammenarbeit unterstreicht die Skalierbarkeit, die Performance-Steigerung und die entwicklerzentrierte individuelle Anpassung, die durch die Fastly-Plattform möglich ist. OSM kann nun einem globalen Publikum überlegene digitale Erlebnisse ausliefern und gleichzeitig die betriebliche Komplexität minimieren und die Zuverlässigkeit gewährleisten.

Wichtigste Erkenntnis

OpenStreetMap nutzt die CDN-Services von Fastly, um Kartendaten an Millionen von Nutzern weltweit auszuliefern und dabei die Kontrolle über die eigene Infrastruktur zu behalten. „Wir verwalten die Konfiguration des CDN, aber wir wissen, dass es läuft und zuverlässig ist.“ „Das ist also ein großer Vorteil für uns“, sagt Slater. Durch das Auslagern der Inhaltsauslieferung an Fastly kann sich das kleine ehrenamtliche Team von OpenStreetMap auf die Verbesserung seiner Kartendaten und -dienste konzentrieren, anstatt eine komplexe globale Infrastruktur zu verwalten. Das Ergebnis ist ein reaktionsschnellerer und zuverlässigerer Kartenservice, der mit den globalen Nutzerbedürfnissen stetig wächst und sich weiterentwickelt. Denn OpenStreetMap ist mehr als nur eine Karte – es sind die grundlegenden Geodaten, die Logistik, Katastrophenschutz und unzählige Apps weltweit unterstützen. Ohne OpenStreetMap würde ein bedeutender Teil der Fähigkeit der digitalen Welt, zu navigieren, sich zu verbinden und zu funktionieren, verloren gehen.