首页 > 编程知识 正文

kafka核心技术与实战,kafka原理图

时间:2023-05-03 11:50:02 阅读:33253 作者:4960

另一方面,Kafka集群Kafka使用Zookeeper来维持集群成员(brokers )的信息。 每个broker都有唯一的broker.id,用于标识群集中的自己的id,可以在配置文件server.properties中配置,也可以由程序自动生成。 Kafka brokers集群的自动创建流程如下所示。

每个broker启动时,都会在Zookeeper的/brokers/ids路径下创建一个临时节点,并写入其broker.id以在群集中注册。 如果有多个broker,则所有broker都会冲突以在Zookeeper上创建/controller节点。 由于Zookeeper上的节点不重复,因此只有一个broker成功创建。 此时,此中介被称为控制器中介。 除了具有其他broker功能外,如果还负责管理主题分区及其副本的状态broker关闭或主动关闭,其拥有的Zookeeper会话超时,则在Zookeeper注册的watcher 如果关闭的是控制器中介,则会触发新的控制器选举。 二、为了保证高可用性,kafka的分区是多个副本,如果一个副本丢失,也可以从其他副本中获取分区数据。 但是,这需要相应副本的数据完整。 这是Kafka数据完整性的基础。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。