文章1.flink配置文件概述1.1基本配置1.2高可用性配置1.3容错和检查点配置1.4 web前端配置1.5高级配置1.6 Flink群集安全配置1.7 Zookeeper安全配置1.8 history server 1.9 masters
一. Flink配置文件概述
安装目录主要包括flink-conf.yaml配置、日志配置文件、zk配置和flink SQL客户端配置。
1.1基础配置# jobManager的IP地址job manager.RPC.address : localhost # job manager的端口号jobmanager.rpc.port: 6123# JobManager JVM heap内存大小job manager.heap.size :1024 m # taskmanagerjvmheap内存大小task manager.heap.size 33601024 m # 为每个任务管理器提供的任务slots数量大小task manager.numberoftaskslots 33601 #程序默认并行计算数量parallelism.default: 1#文件系统源# 您可以选择fs.default-scheme 1.2 「NONE或zookeeper.# high-avail ability : zookeeper #文件系统路径。 Flink为高可用性设置，元数据# high-avail ability.storage dir : HDFS ://flink/ha/# zookeeper群集中介质的计算机ip和端口号# high-- 如果启用了zookeeper security，则值为creator # high-avail ability.zookeeper.client.ACL 3360 open 1.3容错和检查点配置#保存和检查将更改为state.backend330用于存储检查点数据文件和元数据的默认目录# state.check points.dir : HDFS ://NameNode-host 3360 savepoints的默认目标目录(state.save points.dir : HDFS ://NameNode-host : port/flink-check points #增量check state.back end.incremental : false 1.4 Web前端配置基于web的运行时监视器等待的地址. # job manager.web.address 3360.0.0 # web运行时监视器端口rest从基于web的jobmanager启用作业中选择# job manager.web.submit.enable 3360 false 1.5高级配置# io.tmp.dirs: /tmp# 是否应该在启动TaskManager时预先分配task task manager.memory.preallocate 3360 false #类的加载解析顺序为用户代码jar(「child-first”) 默认情况下，首先从用户代码jar中加载用于类# class loader.resolve-order : child-first #的网络缓冲区的JVM内存得分。 这决定了任务管理器可以同时拥有的流数据交换通道的数量和通道缓冲区的程度。 如果作业被拒绝，或者收到系统没有足够缓冲区的警告，请增大此值或以下最小值/最大值：
另外请注意，“taskmanager.network.memory.min”和“taskmanager.network.memory.max”是此分数# 可能覆盖task manager.net work.memory.fax task manager.net work.memory.min :67108864 # task manager.net work.memory.max :1073741824.6 security.Kerberos.log in.ulog，指示是否来自flink群集的安全配置#Kerbererk群集包含用户凭据的Kerberos密钥表文件的绝对路径# security.Kerberos.log in.keytab 3360/keytab keytab关联的Kerberos承担者名称# security.Kerberos.log in.principal 3360 flink-user #是以逗号分隔的登录上下文列表，用于提供Kerberos凭据(Kafka client ` zokeeer # security.Kerberos.log in.contexts 3360 client， Kafka客户端1.7 zookeeper安全配置#此配置涵盖以下配置并提供自定义ZK服务名# zookeeper.sasl.service-name 3360 zookeeper # : 必须与“security.Kerberos.log in.contexts”中的列表# zookeeper.sasl.log in-context-name 3360 client 1.8 historyseent 1.8匹配historyserver )用于上载已完成作业的目录# job manager.archive.fs.dir 3360 HDFS 3360//comp leeer并关闭historyserver.web.address 3360.0.0 #基于web的history server的端口号#historyserver.web.port336666用于监视已完成的作业的# # history server.archive.fs.dir : HDFS 3360//completed-jobs/#更新被监视目录的时间间隔(毫秒) historyserver.archiver
localhost:8081 1.10 slaves每个工作器节点的IP/Hostname
每个localhost1.11zoo.CFG#tick的毫秒数tickTime=2000#可以在初始同步阶段使用的tick数initLimit=10#发送请求和获取确认之间传递的tick数syncLimit=5# datadir=zookeeper#客户端连接的端口client port=2181 # zookeeperquorumpeersserver.1=localhost 33602883360388 # server.2
log4j-CLI.properties log4j-console.properties log4j-yarn-session.properties log4j.properties logback-console.xyal ' batch ' or ' streaming ' execution type : streaming # allow ' event-time ' or only ' processing-time ' insourcestime-yyon intervalinmsforemittingperiodicwatermarksperiodic-watermark s-interval :200 # ' changelog ' or ' table ' presentationonofrf parallelismoftheprogramparallelism 3360 # maximumparallelismmax-parallelism 3360128 # minimumidlestateretentioninmsmin-idle maximumidlestateretentioninmsmax-idle-state-retention 3360 deployment : # generalclustercommunicationtimeoutinmsresponsponsont " addressfromclustertogatewaygateway-address 330 (可选) portfromclustertogatewaygateway-port :参考33603https://blog