Kafka의 불공정성: 낮은 처리량에서의 작업 큐로서의 부적절성

이 글에서는 낮은 처리량 환경에서 Kafka를 작업 큐로 사용하는 것의 문제점을 다룹니다. 저자는 Kafka의 기본 메커니즘으로 인해 다른 소비자가 유휴 상태여도 작업이 불공평하게 하나의 소비자에게 할당되어 일부 소비자는 과부하가 걸리고 다른 소비자는 유휴 상태가 될 수 있다고 주장합니다. 하나의 소비자에게 할당될 수 있는 최악의 작업 수를 계산하는 공식이 제시되고, 다양한 부하 조건에서 이러한 불공정성이 애플리케이션 성능에 미치는 영향이 분석됩니다. 저자는 KIP-932가 구현될 때까지 낮은 처리량 환경에서 Kafka를 작업 큐로 사용하는 것을 권장하지 않습니다.