【Kafka七】使用Kafka Consumer Offset Monitor 进行Kakfa监控

shirobert

1. 获取Kafka Consumer Offset Monitor安装包

http://pan.baidu.com/s/1kT5KeQ7

2. Kafka Consumer Offset Monitor启动脚本kafkacom.sh

java -Xms128M -Xmx256M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8086 --refresh 10.seconds --retain 7.days 1> kakfa.offset.monitor.logs.stdout.log 2>kafka.offset.monitor.logs.stderr.log &
 

3.启动Zookeeper、Kafka Brokers

4. 启动Kafka Consumer Offset Monitor

sh kafkacom.sh

5. 在浏览器中访问如下地址打开监控界面：

http://192.168.26.140:8086

6. 启动Producer和Consumer，写20000万条消息，刷新浏览器查看offset的变化，可以看到
　　

 

7. Consumer Offsets表各个列的含义：

• Topic：Topic的名字
  
• Partition：Topic包含的分区，上例中，learn.topic.p8.r2有8个分区
  
• Offset：Kafka Consumer已经消费的分区上的消息数
  
• logSize: 已经写到该分区的消息数
  
• Lag：还有多少消息数未读取(Lag = logSize-Offset)
  
• Owner: 该分区位于哪个Broker上，上例中有三个Broker(consumer group name + hostname + broker.id)
  
• Created: 分区创建时间
  
• Last Seen： Offset和logSize数字最后一次更新时间
  

8. 注意的问题：
　　刚开始启动时，发现Lag为负数，这明显不对，但是当使用Producer和Consumer进行读写Kafka后，数字显示正常
　　参考：http://blog.csdn.net/lizhitao/article/details/27199863