自学内容网 自学内容网

Flink高可用配置(HA)

从Flink架构中我们可以看到,JobManager这个组件非常重要,是中心协调器,负责任务调度和资源管理。默认情况下,每个Flink集群只有一个JobManager实例。这会产生单点故障(SPOF):如果JobManager崩溃,则无法提交新程序,正在运行的程序也会失败。通过JobManager的高可用性,用户可以从JobManager故障中恢复,从而消除SPOF。

JobManager高可用性的一般思想是,任何时候都有一个leader JobManager和多个standby JobManage,当leader出现故障时,其中一个standby JobManager接管leader。这保证了没有单点故障,并且只要standby JobManager接管了leader,程序就可以继续进行。如下图(有3个JobManager):

Flink的高可用性服务封装了使一切正常工作所需的服务:

  • Leader election:从n个候选人中选出一个领导
  • Service discovery:检索当前领导的地址
  • State persistence

原文地址:https://blog.csdn.net/chanyue123/article/details/144074116

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!