GlassFlow ClickHouse 負荷テスト：リアルタイム重複排除の大規模化

GlassFlowチームは、リアルタイム重複排除のための広範囲な負荷テストを実施し、印象的な結果を得ました。MacBook Pro上で、GlassFlowはKafkaから毎秒9,000件以上のレコードを0.12ms未満のレイテンシで処理し、ピーク時には毎秒55,000レコードに達しました。2,000万件のレコードと12の同時パブリッシャーであっても、システムは堅牢性を維持し、クラッシュ、メッセージの損失、順序の乱れは発生しませんでした。このテストは、現実世界のユースケースをシミュレートする合成データを使用し、重複排除、スループット、レイテンシを評価しました。テストの完全な設定はオープンソースです。