Compresión Alucinante: Reduciendo 10 GB de Datos de Tránsito RATP a 530 KB con Rust

Este proyecto de fin de semana comenzó explorando el repositorio de datos abiertos de la red de transporte público de París. El autor notó una sección sobre reutilización de datos, con proyectos externos que usan estos datos abiertos, particularmente el sitio web de estado de la RATP, que visualiza interrupciones históricas. El repositorio de GitHub contiene archivos JSON consultados cada 2 minutos durante casi un año, sumando más de 10 GB. El autor se preguntó si esto podría comprimirse mejor. Esta publicación detalla cómo usaron el patrón de diseño de internado de Rust para lograr una compresión 2000x. Las técnicas exploradas incluyen optimizar la estructura del internado, ajustar el esquema de datos y aprovechar el internado en la serialización. ¿El resultado? Una reducción asombrosa de 1,1 GB de archivos JSON a solo 530 KB.