如何实现批流一体的

无限流处理：输入数据没有尽头;数据处理从当前或者过去的某一个时间 点开始，持续不停地进行

另一种处理形式叫作有限流处理，即从某一个时间点开始处理数据，然后在另一个时间点结束。输入数据可能本身是有限的(即输入数据集并不会随着时间增长)，也可能出于分析的目的被人为地设定为有限集(即只分析某一个时间段内的事件)。
 

显然，有限流处理是无限流处理的一种特殊情况，它只不过在某个时间点停止而已。此外，如果计算结果不在执行过程中连续生成，而仅在末尾处生成一次，那就是批处理(分批处理数据)。

批处理是流处理的一种非常特殊的情况。在流处理中，我们为数据定义滑 动窗口或滚动窗口，并且在每次窗口滑动或滚动时生成结果。批处理则不同，我们定义一个全局窗口，所有的记录都属于同一个窗口。举例来说， 以下代码表示一个简单的Flink 程序，它负责每小时对某网站的访问者计数，并按照地区分组。
 

如果输入数据是有限的，那么以上代码的运行结果将与前一段代码的相同， 但是它对于习惯使用批处理器的程序员来说更友好。

Fink批处理模型

Flink 通过一个底层引擎同时支持流处理和批处理

（编辑：南昌站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!