GlassFlow ClickHouse 实时去重负载测试:每秒处理 9000+ 条记录

2025-06-22
GlassFlow ClickHouse 实时去重负载测试:每秒处理 9000+ 条记录

GlassFlow 团队进行了一次大规模实时去重负载测试,结果令人印象深刻。在 MacBook Pro 上,GlassFlow 以低于 0.12ms 的延迟处理了来自 Kafka 的每秒 9000 多条记录,最高处理速度达每秒 55000 条。即使在处理 2000 万条记录和 12 个并发发布者的情况下,系统也保持稳定,没有崩溃、消息丢失或乱序。测试使用模拟真实世界用例的合成数据,并对去重、吞吐量和延迟进行了评估。该测试的完整设置已开源。

开发