Blosc2 3.0: Die Speichermauer durchbrechen, mit Terabyte-großen Datensätzen rechnen
2025-03-31
Blosc2 3.0 führt eine integrierte Compute-Engine ein, die Hochleistungsberechnungen auf Datensätzen ermöglicht, die um mehr als das 100-fache größer sind als der verfügbare RAM. Durch die enge Integration von Komprimierung und Berechnung und die Nutzung von CPU-Caches zur Verarbeitung komprimierter Datenblöcke wird das Problem der Speichermauer effektiv gelöst. Experimente zeigen, dass Blosc2 eine hohe Leistung bei Datensätzen bis zu 8 TB beibehält und bei sehr großen Datensätzen sogar die Leistung im Arbeitsspeicher mit der Speicherung auf der Festplatte übertrifft. Dies ist ein bedeutender Fortschritt für die Big-Data-Analyse und Hochleistungsrechnen.
Mehr lesen
Entwicklung