首页 > 编程知识 正文

kafka分区和消费者的关系,kafka分区的作用

时间:2023-05-04 12:46:00 阅读:16821 作者:2043

在通过send ()方法向broker发送消息的过程中,在实际发送到broker之前,可能需要经过拦截()、串行化器()和分区设备) )的一系列角色。 拦截器一般不是必需的,需要串行化器。 消息序列化后,必须确定目标分区。 如果在消息ProducerRecord中指定了分区字段,则不需要分区管理器角色,因为分区表示目标分区编号。

如果没有在消息ProducerRecord中指定分区字段,则必须依赖分区管理器根据名为key的字段计算分区的值。 分区的作用是为消息分配分区。

Kafka提供的默认分区管理器是org.Apache.Kafka.clients.producer.internals.default partitioner,org.Apache.kartioner

其中partition ()方法用于计算分区号,返回值为int类型。 partition ()方法的参数分别表示主题、密钥、序列化密钥、值、序列化值和集群的元数据信息,通过这些信息可以实现功能丰富的分区机器close ) )方法用于在关闭分区时回收一些资源。

Partitioner接口有另一个父接口org.Apache.Kafka.com mon.configurable。 这个接口只有一个方法。

注:如果key不是null,则计算出的分区编号可以是所有分区之一。 如果key为null且存在可用分区,则计算出的分区编号只是可用分区之一。 请注意差异。

即使不改变主题的分区数,key和分区之间的映射也不会改变。 但是,如果向主题中添加分区,则很难保证key与分区之间的映射关系。

除了使用Kafka提供的默认分区设备来分配分区外,还可以像使用DefaultPartitioner一样实现分区接口,从而使用自定义分区设备的默认分区设备,如果key为空,则不选择不可用的分区。 可以使用自定义分区设备DemoPartitioner打破此限制。 有关具体实现,请参见以下示例代码

实现自定义的DemoPartitioner类后,必须配置参数partitioner.class以显式指定此分区管理器。 以下是示例。

这个定制分区机的实现比较简单,读者也可以灵活地实现根据自己业务需要分配分区的计算方式。 例如,典型的大型电气公司拥有多个仓库,可以以仓库的名称和ID为key灵活地记录商品信息。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。