Compressão Insana: Reduzindo 10 GB de Dados de Trânsito RATP para 530 KB com Rust

Este projeto de fim de semana começou navegando no repositório de dados abertos da rede de transporte público de Paris. O autor notou uma seção sobre reutilização de dados, com projetos externos usando esses dados abertos, particularmente o site de status da RATP, que visualiza interrupções históricas. O repositório GitHub contém arquivos JSON consultados a cada 2 minutos por quase um ano, totalizando mais de 10 GB. O autor se perguntou se isso poderia ser melhor comprimido. Esta publicação detalha como eles usaram o padrão de design de interação do Rust para alcançar uma compressão 2000x! As técnicas exploradas incluem otimizar a estrutura do interador, ajustar o esquema de dados e alavancar a interação na serialização. O resultado? Uma redução impressionante de 1,1 GB de arquivos JSON para meros 530 KB.