大家好，关于kafka的分区可以增加或减少很多朋友都还不太明白，今天小编就来为大家分享关于kafka不建议多topic的知识，希望对各位有所帮助！
本文目录
kafka在topic发生变化时是如何实现再平衡的
是这样的，在Kafka中，每个主题都分为一组分区。生产者将消息写到分区的尾部，而消费者则按照自己的步调阅读它们。Kafka通过在消费者组之间分配分区来扩展主题的使用，消费者组是一组共享公共组标识符的消费者。下图描述了具有三个分区的单个主题和具有两个成员的使用者组。
对于每个消费者组，选择一个经纪人作为小组协调员。小组协调员负责，管理消费者群体状态。在以下情况下将分区分配给使用者：
产生了一个新的消费者。一个老消费者倒下了。主题元数据发生变化。将分区重新分配给使用者的过程称为使用者组重新平衡，当组首次连接到代理时：
消费者根据配置auto.offset.reset从每个分区的最早或最新偏移量开始读取。然后按顺序读取每个分区中的消息。使用者提交其已成功处理的消息的偏移量。在下图中，使用者的位置在偏移量6上，并且其最后提交的偏移量在偏移量1上。
重新平衡使用者组后，会将新的使用者分配到一个分区。
它从最后提交的偏移量开始读取。如果旧使用者处理了一些消息但在提交已处理消息的偏移量之前崩溃了，它将重新处理一些消息。了解Kafka如何利用该poll方法来协调和重新平衡消费群体，这是一些自动提交使用者代码示例：
如果使用者在提交抵消成功处理的消息之前崩溃，则该分区的新使用者将重复处理已处理的未提交消息。频繁提交可减轻重新平衡/崩溃后重复项的数量。在上面的示例代码中，Kafka使用者库基于配置的auto.commit.interval.ms值自动提交，减小该值会增加提交频率。
某些应用程序可能选择手动提交以更好地管理消息使用，因此让我们讨论一下手动提交的不同策略。对于手动提交，我们需要将auto.commit.enable设置为false，并在事件循环中适当地使用KafkaConsumer.commitSync。
Kafka不同topic可以有不同分区数吗
kafka不通的topic的分区数可以不一样，topic的分区数是由topic建立时手工指定的，不同的topic可以不同的指定，所以可以不一样
如何为Kafka集群选择合适的Partitions数量
感谢邀请回答这个问题。作为kafka的多年用户，这点还是很有使用感受的。
kafka每个数据流都要对应一个topic,每个topic可以有多个parttion.每个parttion现只能被一个消费者消费.越多的partition意味着越多的吞吐量。需要更多的文件句柄。如果消费者比较少，那更多的partition会浪费系统资源。从另一个角度上来说，越来越多会增加延时，会对实时性的数据读写产生不好的影响。
所以说恰当的分区数会对kafka的性能有着比较重要的影响。
kafka的分区可以增加或减少
Kafka使用分区将topic的消息打散到多个分区分布保存在不同的broker上，实现了producer和consumer消息处理的高吞吐量。
Kafka的producer和consumer都可以多线程地并行操作，而每个线程处理的是一个分区的数据。因此分区实际上是调优Kafka并行度的最小单元。
对于producer而言，它实际上是用多个线程并发地向不同分区所在的broker发起Socket连接同时给这些分区发送消息；而consumer，同一个消费组内的所有consumer线程都被指定topic的某一个分区进行消费。
文章到此结束，如果本次分享的kafka的分区可以增加或减少和kafka不建议多topic的问题解决了您的问题，那么我们由衷的感到高兴！
