首页 > 编程知识 正文

kafka分区的作用,kafka分区和副本关系

时间:2023-05-06 03:49:11 阅读:12405 作者:2506

1 .卡夫卡话题

在这篇Kafka文章中,您将学习Kafka的主题和Kafka体系结构的总体概念。 Kafka的体系结构包括复制、故障转移和并行处理。 此外,还可以通过查看如何创建Kafka主题和Apache Kafka主题的示例来更好地理解Kafka。 它还显示Kafka分区和Kafka日志分区。

那么,从Kafka的主题开始吧。

Apache Kafka主题-体系结构和分区

2 .什么是卡夫卡的主题?

简而言之,命名的记录流就是我们所说的Kafka Topic。 基本上,Kafka会将主题保存到日志中。 但是,Apache Kafka的主题日志分为几个分区。 Kafka还将这些日志的分区分布在多个服务器或磁盘上。 也就是说,Kafka的主题可以是类别、流名称或提要。

卡夫卡的主题是什么?

此外,Apache Kafka主题本身已公开,可以说是订阅样式的消息传递。 此外,Kafka主题可以有0多个名为Kafka Consumer Groups的订户。 基本上,Kafka的这些主题分为速度、可伸缩性和大小。

有关Kafka pu B- sub消息系统的详细信息,请参阅

如何创建Kafka主题

首先,通过运行kafka-topics.sh并指定主题名称、复制因子和其他属性在Kafka中创建主题。

/xhd bl/Kafka-topics.sh-- create--zookeeper :--topic--partitions- -复制- factor

接下来,以下示例使用分区和副本创建主题" test1 "。

导入Kafka监视

xhd bl/Kafka-topics.sh-- create--zookeeper localhost 33602181- -复制因子1--partitions1--

此外,还可以运行list topic命令来显示主题。

xhd bl/Kafka-topics.sh---- list---- zookeeper localhost 33602181 test 1

如果auto.create.topics.enable属性设置为true,则允许在APP应用程序尝试生成或使用或检索不存在的主题的元数据时自动创建主题。

4 .卡夫卡的主题划分

此外,Kafka还将主题日志划分为几个分区。 因此,通常通过记录密钥,如果密钥存在且循环,则会在密钥丢失时将记录保存到分区中(默认行为)。 默认情况下,记录密钥是Kafka Producer帮助确定发送记录的分区的密钥。

基本上,Kafka使用分区在生产者编写的许多服务中扩展主题。 另外,为了促进并行消费者,Kafka使用分区。 另外,对于故障转移,Kafka可以将分区复制到多个Kafka Brokers。

5. Kafka主题日志分区订单和基数

那么,仅在一个分区中,可以说Kafka确实保持着记录顺序。 因为分区也是有序、不变的记录序列。 此外,通过将分区用作结构化提交日志,Kafka将继续添加到分区中。 在分区中,所有记录都被分配了序列ID号。 这称为进一步偏移。 此偏移进一步标识分区中每个记录的位置。

看看Kafka vs RabbitMQ

此外,Topic分区允许Kafka日志用于扩展到适合各个服务的大小。 主题可以跨越许多服务托管的许多分区,但主题分区必须适合于托管的服务。 另外,Apache Kafka的主题分区是并行的单元。 也就是说,一次只能在一个分区中处理分区消费群体中的卡夫卡消费者。 基本上,Kafka的Consumer只能在自己的进程或自己的线程中运行。 尽管如此,一旦消费者停止,Kafka就会在同一消费群内的其馀消费者之间传播分区。

6. Kafka主题分区复制

为了容错目的,Kafka可以在多个可配置的Kafka服务之间进行分区复制。 基本上,每个分区都有领导服务和零个或多个跟进服务。 另外,对于分区,读取器是处理所有读写请求的人。

但是,如果领导者去世,wndjb会复制并接管领导者。 另外,Kafka对于集团内的并行消费者处理也使用分区。

谈谈Kafka Schema

7 .副本: Kafka分区读取器、wndjb和ISR。

但是,通过使用ZooKeeper,Kafka选择了代理的分区副本作为领导者。 另外,关于分区,可以说具有分区读取器的代理处理所有记录的读写。 Kafka还复制了有关节点/分区对(wndjb )的读取器分区的写操作。 定义术语ISR时,同步的大胆文档是我们所说的同步拷贝(ISR )。 但是,如果分区读取器失败,Kafka会选择新的ISR作为新的读取器。

8. Kafka架构: Kafka复制-复制到分区0

Kafka架构: Kafka复制-复制到分区0

探讨ZooKeeper在Kafka中的作用吧

当分区的所有ISR都写入日志时,该记录将被视为“已提交”。 但是,我们只能读取消费者提交的记录。

Kafka主题-复制到分区1

所以,这完全是关于卡夫卡的主题。 我希望你喜欢我们的解释。

了解更多关于Kafka工具的信息

9 .结论

我详细了解卡夫卡主题的整个概念。 还讨论了Kafka主题的分区、Kafka主题的日志分区和Kafka复制因子。 另外,我看了Kafka Architecture,给Kafka做了主题。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。