Kafkas Ungerechtigkeit: Warum es eine schlechte Job-Queue bei geringem Durchsatz ist

2025-02-18

Dieser Artikel untersucht die Nachteile der Verwendung von Kafka als Job-Queue bei geringem Durchsatz. Der Autor argumentiert, dass der zugrunde liegende Mechanismus von Kafka zu einer ungerechten Job-Verteilung führen kann, selbst wenn andere Consumer untätig sind. Ein einzelner Consumer kann überlastet werden, während andere im Leerlauf sind. Eine Formel wird bereitgestellt, um den Worst-Case-Szenario von Jobs zu berechnen, die einem einzelnen Consumer zugewiesen werden. Die Auswirkungen dieser Ungerechtigkeit auf die Anwendungsleistung unter verschiedenen Lasten werden analysiert. Der Autor kommt zu dem Schluss, dass die Verwendung von Kafka als Job-Queue bei geringem Durchsatz nicht empfohlen wird, es sei denn, KIP-932 wird implementiert.

Entwicklung Job-Queue