Arroyo : un décodeur JSON ultra-rapide basé sur Arrow
Le moteur de traitement de flux Arroyo relève le défi majeur du traitement efficace de flux de données JSON à grande échelle. Cet article détaille comment Arroyo exploite le format mémoire colonnaire Arrow et une stratégie de décodage JSON en deux étapes pour améliorer considérablement la vitesse de désérialisation JSON. La première étape construit une structure de données "bande" aplatie, tandis que la seconde étape construit des tableaux Arrow de manière concurrente en fonction du schéma. Cette approche est jusqu'à 2,3 fois plus rapide que les désérialisateurs basés sur Jackson lors de tests de performance. De plus, Arroyo étend la prise en charge du JSON brut et de la gestion des données incorrectes, permettant un traitement plus flexible des données de flux du monde réel.
Lire plus