Blosc2 3.0: Rompiendo la Pared de Memoria, Calculando con Conjuntos de Datos de TB
2025-03-31
Blosc2 3.0 presenta un motor de cómputo integrado, permitiendo el cálculo de alto rendimiento en conjuntos de datos más de 100 veces más grandes que la RAM disponible. Al integrar estrechamente la compresión y el cómputo y aprovechando las cachés de la CPU para procesar fragmentos de datos comprimidos, aborda eficazmente el problema de la pared de memoria. Los experimentos demuestran que Blosc2 mantiene un alto rendimiento con conjuntos de datos de hasta 8 TB, incluso superando el rendimiento en memoria con almacenamiento en disco para conjuntos de datos muy grandes. Este es un avance significativo para el análisis de big data y la computación de alto rendimiento.
Leer más
Desarrollo