Flink的Standalone集群模式安装部署

一.Flink模式介绍

Flink支持多种安装模式。

local（本地）——本地模式

standalone——独立模式，Flink自带集群，开发测试环境使用

standaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用

yarn——计算资源统一由Hadoop YARN管理，生产环境测试

二.Standalone集群安装

flink-1.13.6-bin-scala-2.11适用于虚拟机的flink资源-CSDN文库

在本地解压后，上传如虚拟机后进行解压，重命名，配置环境变量：

tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/
mv flink-1.13.6/ flink
vim /etc/profile

增加环境变量：

export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

刷新环境变量：

source /etc/profile

开始修改配置文件：

其中bigdata01改成自己的ip！
/opt/installs/flink/conf/flink-conf.yaml

jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true

hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

/opt/installs/flink/conf/masters

bigdata01:8081

/opt/installs/flink/conf/workers

bigdata01
bigdata02
bigdata03

将资料下的flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下

flink-shaded-hadoop-2-uber-2.7.5-10.0，解决flink无法启动historyserver资源-CSDN文库

单台已经配置完成了，需要给剩下的机器分发过去：

虚拟机中使用的分发文件，和分发命令脚本资源-CSDN文库

​​​​​​​xsync.sh /opt/installs/flink
xsync.sh /etc/profile

至此配置完成，启动。

三.启动Flink

启动命令：

#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

如果无法启动历史服务器

Flink错误：一historyserver无法启动，二存在的文件会报错没有那个文件或目录-CSDN博客

好了，如果到这都没有问题，启动网页端查看：
http://bigdata01:8081   -- Flink集群管理界面    当前有效，重启后里面跑的内容就消失了
能够访问8081是因为你的集群启动着呢
http://bigdata01:8082   -- Flink历史服务器管理界面，及时服务重启，运行过的服务都还在
能够访问8082是因为你的历史服务启动着

在虚拟机提交一个任务，在网页端查看：

flink run  /opt/installs/flink/examples/batch/WordCount.jar
或者
flink run  /opt/installs/flink/examples/batch/WordCount.jar --input 输入数据路径 --output 输出数据路径

flink run  /opt/installs/flink/examples/batch/WordCount.jar --input /home/wc.txt --output /home/result

如果报错文件不存在：
​​​​​​​Flink错误：一historyserver无法启动，二存在的文件会报错没有那个文件或目录-CSDN博客

原文地址：https://blog.csdn.net/yyzzyyds/article/details/143933279

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！