自学内容网 自学内容网

大数据面试笔试宝典之Flink面试

 1.Flink 是如何支持批流一体的?

F link  通过一个底层引擎同时支持流处理和批处理.

在流处理引擎之上,F link  有以下机制:

1)检查点机制和状态机制:用于实现容错、有状态的处理;

2)水印机制:用于实现事件时钟;

3)窗口和触发器:用于限制计算范围,并定义呈现结果的时间。

在同一个流处理引擎之上,F link  还存在另一套机制,用于实现高效的批处理。

1)用于调度和恢复的回溯法: 由 Microsoft Dryad   引入,现在几乎用于所有批处理器;

2)用于散列和排序的特殊内存数据结构:可以在需要时,将一部分数据从内存溢出到硬盘上; 3.优化器:尽可能地缩短生成结果的时间。

2.F link


原文地址:https://blog.csdn.net/yangjun_1985/article/details/144708448

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!