O que Apache Kafka Consumer Lag Runbook faz?
Diagnostica o atraso (lag) de grupos de consumidores Kafka usando a API Kafka AdminClient e métricas JMX expostas pela Confluent Metrics API. Identifica consumidores lentos, hotspots de partições de tópicos e tempestades de rebalanceamento que contribuem para o crescimento do lag. Fornece um runbook passo a passo para ajustar fetch.min.bytes, max.poll.records e contagem de partições.
Pré-requisitos
Java
Instalação
Use o caminho de instalação ou configuração upstream que corresponda ao seu ambiente:
- docker run -p 9092:9092 apache/kafka:latest
Requisitos e observações do upstream:
- Usando imagem docker:
- Consulte docker/README.md para informações detalhadas.
Notas de uso básico ou primeiros passos:
-
Construir um JAR e executá-lo
-
Executar testes unitários/de integração
-
./gradlew test -Pkafka.test.run.flaky=true # executa testes marcados como flaky
-
Extraído da documentação upstream: https://raw.githubusercontent.com/apache/kafka/HEAD/README.md