Blosc2 3.0 : Briser le mur de la mémoire, calculer avec des ensembles de données de plusieurs téraoctets

Blosc2 3.0 introduit un moteur de calcul intégré, permettant des calculs hautes performances sur des ensembles de données plus de 100 fois supérieurs à la RAM disponible. En intégrant étroitement la compression et le calcul et en exploitant les caches du CPU pour traiter les blocs de données compressées, il résout efficacement le problème du mur de la mémoire. Les expériences montrent que Blosc2 maintient des performances élevées avec des ensembles de données allant jusqu'à 8 To, surpassant même les performances en mémoire avec le stockage sur disque pour les ensembles de données très volumineux. Il s'agit d'une avancée significative pour l'analyse de big data et le calcul haute performance.