首页 > 编程知识 正文

分布式计算与并行计算(Apache Flink 分布式流式计算框架简介(一))

时间:2023-05-03 20:26:52 阅读:124062 作者:2538

配置文件Apache Flink是一个分布式流计算框架,用于处理有边界无边界数据流上的有状态计算

场景事件驱动应用数据分析应用数据管道应用无界和有界数据任何类型的数据都可以形成一个事件流。 数据是淘宝交易数据、用户注册数据、nginx日志、网站/APP/小程序与用户交互记录等流的表达。

根据数据是否有边界,选择有界流无界流;

有界流无界流的开始值有开始、结束、范围值

在有始有终、无中断地发起数据计算方式并采集所有数据后,进行计算的无界流的数据具有必须连续处理的优势,不需要有序地采集和处理无界数据,通常结果是处理过程处理其他有界流处理而不等待所有数据的到达通常被称为批处理,并经常被使用

支持部署的独立群集将hadoopyarnapachemesoskubernetes与第三方框架结合使用

一些基本的Source和Sink已经内置到Flink中。 预定义的数据源支持从文件、目录、套接字、collections和iterators读取数据。 预定义的数据同步支持文件、标准输出(stdout )、标准错误输出(stderr )和向套接字写入数据。

kafkaelasticsearchrabbitmqjdbcredis其他Flink中文简介

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。