A Injustiça do Kafka: Por que é um mau fila de trabalho em baixa taxa de transferência

Este artigo explora as armadilhas de usar o Kafka como uma fila de trabalho em baixa taxa de transferência. O autor argumenta que o mecanismo subjacente do Kafka pode levar a uma distribuição injusta de trabalho, mesmo quando outros consumidores estão ociosos. Um único consumidor pode ser sobrecarregado enquanto outros ficam ociosos. Uma fórmula é fornecida para calcular o pior cenário de trabalhos atribuídos a um único consumidor. O impacto dessa injustiça no desempenho do aplicativo sob diferentes cargas é analisado. O autor conclui que o uso do Kafka como uma fila de trabalho em baixa taxa de transferência é desencorajado a menos que o KIP-932 seja implementado.