GlassFlow ClickHouse 부하 테스트: 대규모 실시간 중복 제거

GlassFlow팀은 대규모 실시간 중복 제거를 위한 광범위한 부하 테스트를 수행하여 인상적인 결과를 얻었습니다. MacBook Pro에서 GlassFlow는 Kafka로부터 초당 9,000개 이상의 레코드를 0.12ms 미만의 지연 시간으로 처리했으며, 최고 초당 55,000개의 레코드에 도달했습니다. 2천만 개의 레코드와 12개의 동시 게시자를 사용하더라도 시스템은 안정적으로 유지되었으며, 크래시, 메시지 손실, 순서 혼란은 발생하지 않았습니다. 이 테스트는 실제 사용 사례를 시뮬레이션하는 합성 데이터를 사용하여 중복 제거, 처리량, 지연 시간을 평가했습니다. 테스트의 전체 설정은 오픈 소스입니다.