Flink History Server配置
目录
问题复现
在bigdata111上执行如下命令开启socket：
nc -lk 9999如图：
在bigdata111上执行如下命令运行flink应用程序
flink run -c com.leboop.SocketStreamingWordCount /root/jars/flink-1.0-SNAPSHOT.jar --host bigdata111 --port 9999运行成功后，登录http://bigdata111:8081/#/overview
打开flink web ui页面，如图：
此时点击Cancel Job取消任务，如图：
可以在Completed Job List中看到刚刚被取消的任务，如图：
此时重启flink集群，如图：
再次登录flink web ui，如图：
刚被取消的任务已经不显示。 重启集群后不显示历史任务。
History Server配置
集群现有的角色分布如下：
| IP地址 | 主机名称 | Flink角色 |
| 192.168.128.111 | bigdata111 | master |
| 192.168.128.112 | bigdata112 | worker |
| 192.168.128.113 | bigdata113 | worker |
可以选择任意一条服务器作为History Server节点，这里选择bigdata112作为History Server节点。
HADOOP_CLASSPATH配置
在三台服务器上配置HADOOP_CLASSPATH，配置步骤如下：
执行如下命令，打开配置文件：
vi /etc/profile在文件末尾添加如下配置内容：
# historyserver
export HADOOP_CLASSPATH=`hadoop classpath`
执行如下命令，生效配置文件：
source /etc/profile如图：
History Server配置
三台服务器上同时配置。执行如下命令，打开bigdata111服务器flink安装目录下的flink-conf.yaml配置文件
vi /opt/flink-1.9.3/conf/flink-conf.yaml默认配置如下：
改为如下配置：
#==============================================================================
# HistoryServer
#==============================================================================
# The HistoryServer is started and stopped via bin/historyserver.sh (start|stop)
# Directory to upload completed jobs to. Add this directory to the list of
# monitored directories of the HistoryServer as well (see below).
jobmanager.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/
# The address under which the web-based HistoryServer listens.
historyserver.web.address: bigdata112
# The port under which the web-based HistoryServer listens.
historyserver.web.port: 8082
# Comma separated list of directories to monitor for completed jobs.
historyserver.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/
# Interval in milliseconds for refreshing the monitored directories.
historyserver.archive.fs.refresh-interval: 10000
将配置好flink-conf.yaml复制到其它节点（bigdata112、bigdata113），命令如下：
scp -r flink-conf.yaml bigdata112:`pwd`
scp -r flink-conf.yaml bigdata113:`pwd`问题修复
启动flink集群
执行start-cluster.sh启动flink集群，如图：
启动成功后，JobManager和TaskManager进程如图：
启动Histroty Server
在bigdata112上，执行如下命令启动historyserver
historyserver.sh start启动成功后，如图：
登录如下地址，访问history server的web ui页面
http://bigdata112:8082/#/overview
如图：
暂时什么还没有。在bigdata111上打开socket，并运行flink应用程序，如图：
此时在hdfs上并未创建存储已完成Job数据的目录（ hdfs:///flink-cluster/standalone/completed-jobs/），如图：
同样History Server web ui页面也不显示job信息。可以在JobManager web ui界面看到运行的任务，如图：
现在取消任务，任务取消后，在HDFS上生成存储已完成Job的数据目录，如图：
同时在History Server web ui已完成Job列表中会显示该作业，如图：
现在重启flink集群和History Server，如图：
重启以后在History Server web ui页面会显示该Job（JobManager Server依然不显示）。
原文地址：https://blog.csdn.net/L_15156024189/article/details/140516154
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！