Was macht Apache Kafka Consumer Lag Runbook?
Diagnostiziert den Lag von Kafka-Consumer-Gruppen mithilfe der Kafka AdminClient API und JMX-Metriken, die über die Confluent Metrics API bereitgestellt werden. Identifiziert langsame Consumer, Topic-Partition-Hotspots und Broker-Rebalance-Stürme, die zum Lag-Wachstum beitragen. Bietet ein schrittweises Runbook zur Optimierung von fetch.min.bytes, max.poll.records und der Partitionsanzahl.
Voraussetzungen
Java
Installation
Verwenden Sie den für Ihre Umgebung passenden Upstream-Installations- oder Setup-Pfad:
- docker run -p 9092:9092 apache/kafka:latest
Anforderungen und Hinweise von Upstream:
- Verwendung des Docker-Images:
- Siehe docker/README.md für detaillierte Informationen.
Grundlegende Nutzung oder Einstiegshinweise:
-
Erstellen Sie ein JAR und führen Sie es aus
-
Führen Sie Unit-/Integrationstests aus
-
./gradlew test -Pkafka.test.run.flaky=true # führt Tests aus, die als flaky markiert sind
-
Quelle: https://github.com/apache/kafka
-
Aus den Upstream-Dokumenten extrahiert: https://raw.githubusercontent.com/apache/kafka/HEAD/README.md