GlassFlow ClickHouse Lasttest: Echtzeit-Deduplizierung im großen Maßstab

Das GlassFlow-Team führte einen umfangreichen Lasttest für die Echtzeit-Deduplizierung durch, mit beeindruckenden Ergebnissen. Auf einem MacBook Pro verarbeitete GlassFlow über 9.000 Datensätze pro Sekunde von Kafka mit einer Latenz unter 0,12 ms und erreichte einen Spitzenwert von 55.000 Datensätzen pro Sekunde. Selbst bei 20 Millionen Datensätzen und 12 gleichzeitigen Publishern blieb das System stabil, ohne Abstürze, Datenverlust oder Fehlordnungen. Der Test verwendete synthetische Daten, die einen realen Anwendungsfall simulierten, und bewertete Deduplizierung, Durchsatz und Latenz. Das vollständige Test-Setup ist Open Source.