首页 > 编程知识 正文

flink书籍pdf下载,Flink 教程

时间:2023-05-06 07:04:38 阅读:152254 作者:2160

文章目录(1) flink-前言)2) flink-前世)3) flink的具体使用场景)4)为什么最新的Flink1.12开始了流批处理集成?

(1) flink-简介

不可否认,大数据时代已经到来,5G浪潮、智慧城市、智慧生活、甚至智慧餐厅……当今时代的数据产生越来越快,数据量越来越大……人们在某些场合对数据处理的实时性例如车辆警报、实时风控、实时推荐系统等…

传统的批处理方式和初始流框架由于自身的局限性,在延迟性、吞吐量、容错性、易用性等方面难以满足业务的苛刻要求。

在这种情况下,Flink凭借其独特的天然流媒体计算特性和更高级的架构设计,大大改善了以前流媒体框架存在的问题,在流媒体计算框架中脱颖而出,逐步发展

以下是flink的全球使用分布图…

可能有伙伴的疑问,为什么flink在中国这么火爆呢? 请看下面。 flink的前世…

) Flink-前世的flink是诞生于欧洲的大数据研究项目StratoSphere。 该项目是柏林工业大学的研究项目,最初Flink进行的是Batch (微批)计算,2014年,StratoSphere的核心成员孵化了Flink,同年将Flink捐赠给了Apache

[外部链接图像导出失败。 源站可能有防盗链机制。 我们建议您保存并直接上传图片。 (img-UVFPy09z-1617195344661 ) c 3360 (用户(leile (appdata (roaming ) typora(typora ) ) )

2014年Flink作为主攻流计算的大数据引擎,开始在开源大数据行业崭露头角。

flink不仅是一个高吞吐量、低延迟的计算引擎,还提供了许多高级功能。 例如有状态的计算

支持状态管理支持强一致性的数据语义支持基于Event Time(事件时间)的WaterMark(水位线可在一定程度上解决数据延迟和顺序混乱。

2015年阿里巴巴开始使用Flink,继续为社区做出贡献。 另外,蚂蚁内部基于Flink制作Blink框架…

2019年1月8日,阿里巴巴以9000万欧元)收购了创业公司Data Artisans (开源数据流处理技术Apache Fink的几位开发者于2014年创立的数据处理创业公司)

阿里对数据量和实时数据要求的严苛,国内互联网公司有目共睹。 flink的收购和使用flink的大规模实时计算,为我们积累了很多经验和技术的沉淀,引起了国内的热潮。

)3) flink的具体使用场景如上所述,目前许多需求都要求实时处理海量数据。 因为,flink可以在实时数仓、实时计算分析、实时监控、实时报告等场所发挥巨大的作用。 那个flink响了吓我一跳… 实时即未来!!!

)4)为什么最新的Flink1.12开始了流量批量一体化? 在一些方案中,用户的业务逻辑在批处理和流处理中往往相同,但业务逻辑是因为用于批处理和流处理的两个计算引擎不同。 例如,流用的flink、批处理用的spark…这样的计费中,由于数据边界的问题,需要用同一逻辑编写两个代码。 这会给开发运维带来额外的负担。

由于阿里巴巴的商品数据处理经常面临增量和总量两个不同的业务流程问题,我们认为阿里拥有统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发代码就可以了。 这样,在各种情况下,无论是体数据、增量数据,还是实时处理,都可以通过一个方案全部支持,这是蚂蚁选择Flink的背景,也是本来的目的(而且,蚂蚁自身也基于Flink进行Blink )

为了解决同样的业务逻辑处理,由于数据的边界不同,在编写两个代码时,flink也进行了改造迭代!

flink1.12.0,是flink一个巨大的跨越!

由单纯的流式计算框架,变为了流批一体框架!其会根据流的界限,自动进行流/批数据转换。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。