卡夫卡多个制片人写同一主题？
[英]Kafka multiple producer writing to same topic?
问题描述
说我有一个带有三个分区的主题T1，即P1，P2和P3。 p1是领导者，其余是跟随者。
现在有2个生产者希望推送到同一主题T1。 我相信P1将是他们两个的领导者？ 还要为它们两个都保留单个偏移量，还是每个生产者每个分区的偏移量维护者？
现在我有一个从T1进行轮询的单一消费者。 它会默认从两个生产者那里获取消息吗，还是要从特定生产者那里获取消息时必须明确提及生产者名称？
2 个解决方案
解决方案1
2 已采纳 2019-08-04 15:24:41
领导者不依赖生产者或消费者，因此p1将始终作为领导者返回。 偏移量对于生产者而言并不重要，它们是针对每个消费者组定义的。 偏移量确定使用者组读取并提交了哪些消息。
消费者将始终阅读所有消息，这无关紧要，哪个生产者发布了它们。
解决方案2
0 2019-08-04 17:42:36
您可能正在混淆副本和分区。 当您说您的主题有3个分区时，这意味着您的记录将根据记录键（或调度程序算法）在其中进行调度。 没有“领导分区”。 但是，您有一个负责处理分区的领导者经纪人。 在您的情况下，您将有3个领导者，每个领导者管理您3个分区之一。
关于Kafka分区的一篇有趣的文章：
亚尼克
Kafka多个制作人写同一主题 - 消息和数据突发的排序
[英]Kafka multiple producer writing to same topic - Ordering of message and data burst
Kafka - 编写同一主题和消息顺序的多个制作人很重要
[英]Kafka - Multiple producers writing to same topic and order of message is important
多个 Kafka 生产者写入同一主题 - 如何负载平衡消费
[英]Multiple Kafka Producers writing to the same topic - how to load balance consumption
Kafka-从多个服务器收集日志。 每个运行的生产者都应该写相同的主题吗？
[英]Kafka - collect logs from multiple servers. Should each producer running on write to the same topic?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.