【快速上手】Kafka-Eagle 监控的安装部署
目录
在生产过程中，想创建topic、查看所有topic、想查看某个topic 、想查看分区等，都需要写命令，能不能有一个图形化的界面，让我们操作呢？Kafka-Eagle 框架就可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。本文介绍的就是Kafka-Eagle 框架的安装部署。
一、环境准备
1、MySQL 环境准备
Kafka-Eagle 的安装依赖于 MySQL，MySQL 主要用来存储可视化展示的数据。所以要保证服务器上安装有MySQL。
2、Kafka 环境准备
（1） 关闭 Kafka 集群
确保集群中有kafka(如果未安装，请看我的往期博客，有kafka的安装部署)，先将其关闭。
kf.sh stop（2）修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中
cd /opt/installs/kafka3/bin/
vi kafka-server-start.sh 修改如下参数：
将大概28行位置的
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
修改为：
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
注意：修改之后在启动 Kafka 之前要分发到其他节点
# 这里我使用的是xsync.sh脚本分发的
xsync.sh /opt/installs/kafka3/bin/kafka-server-start.sh二、Kafka-Eagle 安装
1、官网
https://www.kafka-eagle.org
2、上传解压
（1）上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录
（2）解压到本地
tar -zxvf /opt/modules/kafka-eagle-bin-2.0.8.tar.gz(3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs
cd /opt/modules/kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 3、修改名称
cd /opt/installs
mv efak-web-2.0.8/ efak4、修改配置文件
找到/opt/installs/efak/conf下system-config.properties文件
cd /opt/installs/efak/conf/system-config.properties
vi system-config.properties修改如下：
# offset 保存在 kafka
cluster1.efak.offset.storage=kafka
# 我的服务器是bigdata01、bigdata02、bigdata03 ，请修改为你的
efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
# 修改数据库连接：&serverTimezone=GMT 时区一定要写，否则报405错误！
# 我的mysql在bigdata01上 ，请请修改为你的位置，账号和密码
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://bigdata01:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
efak.username=root
efak.password=*******
5、添加环境变量
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin
修改完之后刷新环境变量：source /etc/profile
6、创建一个数据库
（1）查看mysql状态，确保是开着的
systemctl status mysqld
systemctl start mysqld
（2）在mysql上创建一个ke数据库
7、 启动
（1）注意：启动之前需要先启动 ZK 以及 KAFKA（我使用的是脚本启动）
zk.sh start
kf.sh start
（2）启动 efak
# 启动命令
ke.sh start
# 停止命令
ke.sh stop 
查看mysql发现ke数据库多了许多表格：
三、查看可视化大屏
1、登录页面查看监控数据
通过端口号：8048进入可视化大屏
账号：admin 密码：123456
切记：假如访问不了，查看efak中的log日志，里面的错误特别的详细，绝对可以解决你的问题。
eagle 可以通过这个图形化界面管理Topic，查看kafka的集群的消息发送和消费情况，还可以操作zk.
2、要想可视化大屏有数据，要求:
（1）要开启消费者、生产者
（2）要想看到大屏数据，此处的JMX必须是上线状态
3、查看
原文地址：https://blog.csdn.net/m0_57764570/article/details/143693705
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！