Flink 1.18安装 及配置 postgres12 同步到mysql5.7（Flink sql 方式）

1、参考

Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）

flink-cdc

2、flink 常见部署模式组合

3、Standalone 安装

3.1 单节点安装

flink 下载地址：https://flink.apache.org/downloads/

下载 flink 安装包：flink-1.18.1-bin-scala_2.12.tgz

安装在基础环境 192.168.1.51

cd /home/module


tar -xzf flink-1.18.1-bin-scala_2.12.tgz


mv flink-1.18.1 flink

3.2 问题1

The file .flink-runtime.version.properties has not been generated correctly. You MUST run ‘mvn generate-sources’ in the flink-runtime module

解决：把jdk 升级1.8.421 就可以了

3.3 修改ui 端口

conf/flink-conf.yaml
rest.port: 8086

3.4 使用ip访问

4 flink sql postgres —>mysql

4.1 配置postgres 12

vi /var/lib/postgresql/data/postgresql.conf

vi /var/lib/postgresql/data/postgresql.conf



# 更改wal日志方式为logical（方式有：minimal、replica 、logical  ）
wal_level = logical  

# 更改solts最大数量（默认值为10），flink-cdc默认一张表占用一个slots
max_replication_slots = 20

# 更改wal发送最大进程数（默认值为10），这个值和上

原文地址：https://blog.csdn.net/shandian534/article/details/143021999

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！