Kafka-Eagle 监控 搭建
Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。
在生产过程中，想创建topic、查看所有topic、想查看某个topic 想查看分区等，都需要写命令，能不能有一个图形化的界面，让我们操作呢？
MySQL 环境准备
Kafka-Eagle 的安装依赖于 MySQL，MySQL 主要用来存储可视化展示的数据。如果集
群中之前安装过 MySQL 可以跨过该步。
Kafka 环境准备
1）关闭 Kafka 集群
kf.sh stop
2）修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中
vi bin/kafka-server-start.sh
修改如下参数值：
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi为
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi 
注意：修改之后在启动 Kafka 之前要分发之其他节点
xsync.sh kafka-server-start.shxsync.sh 是分发脚本，可参考：实用-集群分发文件脚本-CSDN博客
Kafka-Eagle 安装
0）官网：https://www.kafka-eagle.org
1）上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录
2）解压到本地
tar -zxvf kafka-eagle-bin-2.0.8.tar.gz3）将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs
cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 4）修改名称
mv efak-web-2.0.8/ efak5）修改配置文件 /opt/installs/efak/conf/system-config.properties
vi system-config.properties对应的内容修改如下：
# offset 保存在 kafka
cluster1.efak.offset.storage=kafka
efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
# 修改数据库连接：&serverTimezone=GMT 时区一定要写，否则报405错误！
# 127.0.0.1 = localhost hosts文件中定义的
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
efak.username=root
efak.password=1234567）添加环境变量
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin注意：source /etc/profile
启动数据库：
[root@bigdata01 conf]# systemctl start mysqld
[root@bigdata01 conf]# systemctl status mysqld 新建一个数据库，叫做ke
8）启动
（1）注意：启动之前需要先启动 ZK 以及 KAFKA。
zk.sh start
kf.sh startzk.sh和kf.sh是启动脚本
（2）启动 efak
bin/ke.sh start
说明：如果停止 efak，执行命令
bin/ke.sh stop
查看可视化大屏的时候：
1、同步一下时间 systemctl restart chronyd
2、要开启消费者
3、要开发生产者
4、关闭flume (选项)
5、如果都没效果，可以添加一句话 在zkServer.sh 中
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
全部重启一下，这些服务
要想看到大屏数据，此处的JMX必须是上线状态：
Kafka-Eagle 页面操作
1）登录页面查看监控数据
http://192.168.10.102:8048/
或者
http://192.168.10.102:8048/ke
切记：假如访问不了，查看efak中的log日志，里面的错误特别的详细，绝对可以解决你的问题。
eagle 可以通过这个图形化界面管理Topic，查看kafka的集群的消息发送和消费情况，还可以操作zk.
原文地址：https://blog.csdn.net/weixin_63297999/article/details/143693879
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！