OpenStreetMap escala para servir a millones de usuarios en todo el mundo con Fastly

El desafío

«El objetivo de OpenStreetMap (OSM) es crear un mapa del mundo y poner esos datos cartográficos a disposición de todos los que los necesiten, sea cual sea su uso». Grant Slater, ingeniero de fiabilidad del sitio y colaborador desde hace tiempo, compara el proyecto con Wikipedia, pero para la cartografía. Con más de 10 millones de colaboradores registrados, OpenStreetMap ha creado un impresionante recurso de mapeo global. Estás probablemente usando los datos de OpenStreetMap todos los días con Apple, Pokemon Go, MapBox, y docenas de sistemas de tránsito. A medida que el proyecto crecía, el equipo técnico se enfrentaba a importantes desafíos de infraestructura que amenazaban su capacidad para distribuir datos cartográficos fiables a los usuarios de todo el mundo.

La solución

El equipo de OpenStreetMap recurrió al programa Fast Forward de Fastly, donde anualmente se donan millones de dólares en infraestructura en especie a los creadores de la Web Abierta para ayudarlos a gestionar sus complejas necesidades de distribución de contenido. Como explica Slater, «solíamos intentar ejecutar nuestra propia CDN y era una auténtica pesadilla». Era muy doloroso y se estaba volviendo insostenible». La naturaleza global de la base de usuarios de OpenStreetMap creó desafíos únicos, ya que los patrones de uso siguen al sol en todo el mundo. «Asia se despierta por la mañana y mucha gente accede a los mosaicos de los mapas de Asia», señala Slater. «Luego, más tarde durante el día, la India se despierta y tiene un patrón de acceso alto, y luego Europa y luego la costa este de los EE. UU.»

OpenStreetMap implementó los servicios de red de distribución de contenidos de Fastly para gestionar su service de generación de mosaicos ráster, que transforma los datos cartográficos sin procesar en mosaicos de mapas visuales. Este servicio se actualiza constantemente para reflejar los cambios realizados por los colaboradores cada minuto. Slater explica: «Gracias a que hemos podido personalizar la CDN con el lenguaje VCL que admite Fastly, podemos poner varios controles» para gestionar la carga en toda su infraestructura.

Gestión de picos de tráfico inesperados sin interrupción del service

OpenStreetMap experimenta regularmente picos de tráfico dramáticos que sobrecargarían la mayoría de los sistemas. Slater recuerda un evento particularmente desafiante: «Me desperté un domingo por la mañana y vi que todos nuestros servidores estaban completamente sobrecargados, y es porque la aplicación oficial de seguimiento de los corredores de la Maratón de Londres decidió usar datos de OpenStreetMap de nuestro servicio de ráster de teselas durante el evento, agotando nuestros servicios directos». Sin previo aviso, el equipo tuvo que realizar un redireccionamiento rápido del tráfico a través de su infraestructura global para mantener el servicio.

El proyecto también supuso un aumento significativo en el uso de las aplicaciones populares que se basan en sus datos. «El juego Pokémon Go era increíble, como si mucha gente se lanzara por eso», señala Slater. «Tesla comenzó a hacer una función en la que podías convocar a tu vehículo para que se acercara a ti en espacios de estacionamiento en áreas de estacionamiento público». Los datos que utilizaron procedían de OpenStreetMap. Así que tuvimos un pico de personas que mapeaban con precisión esos datos».

Con la ayuda de Fastly, OpenStreetMap mantiene una impresionante proporción de aciertos de caché del 92 %, que Slater ha estado mejorando constantemente: «Creo que estábamos en un 88 % de proporción de aciertos de caché». Y ahora estamos a unos 92 %». Esta eficiencia permite que sus servidores backend se centren en generar nuevo contenido en lugar de servir repetidamente los mismos datos, lo que en última instancia mejora los tiempos de respuesta y mejora la experiencia de uso, especialmente durante picos de tráfico.

Proteger la integridad de los datos con controles de CDN personalizados

Más allá de la gestión del tráfico, OpenStreetMap se enfrenta a los desafíos derivados de los patrones de acceso abusivos, especialmente de los raspadores de datos de la IA. «Hemos tenido un problema creciente con los raspadores de datos de IA», explica Slater. «Efectivamente, las empresas anónimas de raspado de IA solo intentan descargar todo y, en un patrón abusivo, intentan descargar cada versión de cada página de cada bit de datos lo más rápido posible».

Utilizando las capacidades VCL de Fastly, OpenStreetMap implementó reglas personalizadas para proteger su infraestructura. «Hemos creado políticas de acceso a través de la CDN de Fastly, y estábamos probando las nuevas herramientas de Fastly para bloquear algunos de estos patrones abusivos», señala Slater. Estos controles permiten a los usuarios legítimos acceder a los datos al tiempo que evitan que los malos actores abrumen el sistema.

Paso a teselas vectoriales para obtener experiencias de mapas más ricas

Recientemente, OpenStreetMap lanzó un nuevo servicio de teselas vectoriales que representa un avance significativo con respecto a sus teselas ráster tradicionales. «El servicio rasterizado sirve efectivamente archivos PNG, imágenes de un mapa renderizado», explica Slater. «El servicio de datos vectoriales, en lugar de servir imágenes al cliente, sirve datos fragmentados en un formato vectorial. El navegador o la aplicación inyectan entonces su estilo».

Este nuevo servicio, que funciona con la plataforma de edge cloud de Fastly, garantiza la actualización de los datos de los mapas cada minuto, lo que permite una velocidad y una capacidad de respuesta sin precedentes. Minh Nguyễn, el facilitador principal de desarrollo de software de OSM, comparte: «Este servicio permite una personalización y compatibilidad con el lenguaje mucho más ricas, algo que antes era un desafío debido a las limitaciones de la infraestructura».

Al aprovechar la capacidad de Fastly para almacenar en caché contenido dinámico en el borde y su superior tiempo hasta el primer byte (tiempo hasta el primer byte), que es un 32 % más rápido que las redes de distribución de contenidos tradicionales, OpenStreetMap es capaz de distribuir actualizaciones y personalizaciones cruciales casi en tiempo real. Minh explica: «La gente está entusiasmada con poder ver todo el mapa en su idioma». Con las herramientas avanzadas de almacenamiento en caché y visibilidad en tiempo real de Fastly, esto abre la posibilidad de que las personas personalicen el mapa sin tener que instalar una gran cantidad de infraestructura propia».

Esta colaboración destaca la escalabilidad, las mejoras de rendimiento y la personalización centrada en el desarrollador disponibles en la plataforma de Fastly. OSM puede ahora distribuir experiencias digitales superiores a audiencias globales, todo mientras minimiza la complejidad operativa y asegura la fiabilidad.

Conclusión clave

OpenStreetMap se basa en los servicios de red de distribución de contenidos de Fastly para distribuir datos de mapas a millones de usuarios de todo el mundo y, al mismo tiempo, mantener el control de su infraestructura. «Gestionamos la configuración de la CDN, pero sabemos que está en funcionamiento y que es fiable». «Así que es una gran ventaja para nosotros», dice Slater. Al transferir la distribución de contenidos a Fastly, el pequeño equipo de voluntarios que gestiona OpenStreetMap puede centrarse en mejorar sus datos de mapeo y servicio en lugar de gestionar una infraestructura global compleja. El resultado es un servicio de mapas más receptivo y confiable que continúa creciendo y evolucionando con las necesidades de los usuario globales, porque OpenStreetMap no es solo un mapa, es la base de datos geográficos que sustenta la logística, la respuesta a emergencias y innumerables aplicación en todo el mundo. Sin OpenStreetMap, una parte significativa de la capacidad del mundo digital para navegar, conectarse y funcionar se oscurecería.