Kafka作为作业队列的陷阱：低吞吐量下的不公平性

本文探讨了将Kafka用作低吞吐量作业队列的弊端。作者指出，由于Kafka的底层机制，即使其他消费者空闲，工作也可能不公平地分配给单个消费者，导致部分消费者负载过重，其他消费者闲置。文章给出了计算最坏情况下单个消费者处理作业数的公式，并分析了在不同负载下这种不公平性对应用性能的影响。作者建议，在低吞吐量场景下，除非KIP-932实现，否则不应将Kafka用作作业队列。