首页 > 编程知识 正文

流计算框架,flink on yarn 部署

时间:2023-05-05 19:19:36 阅读:165593 作者:3229

Flink支持三种部署模式。

1 .本地部署

Flink可以在Linux、Mac OS X和Windows上运行。 本地模式安装只需要Java 1.7.x或更高版本,在本地运行时将启动Single JVM,主要用于测试调试代码。

2 .部署标准群集

Flink附带了集群模式Standalone。 在此模式下,软件有几个要求。

安装Java1.8或更高版本

2 .集群的每个节点都需要ssh加密自由登录

3. Flink ON YARN

Flink ON YARN

Flink ON YARN的工作流程如下。

首先,要将作业提交给YARN,需要链接YARN客户端。

步骤Client将flink APP应用程序jar包和配置文件上载到HDFS。

步骤客户端向资源管理器注册资源,并请求app主容器。

步骤3 :资源管理器为工作器节点分配容器以启动app主节点,而作业管理器在app主节点上启动。

步骤APPMaster为Flink上的任务管理器分配容器,然后启动任务管理器。 任务管理器内部分为许多插槽,它自动从HDFS下载jar文件和修改后的配置,并运行相应的任务。 任务管理器也与APPMaster的作业管理器进行交互,维持心率等。

Flink支持以上三种部署模式一般在学习研究环节,在资源不充足的情况下,采用Local模型即可,在生产环境中Flink ON YARN很常见。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。