卡夫卡多個制片人寫同一主題？
[英]Kafka multiple producer writing to same topic?
問題描述
說我有一個帶有三個分區的主題T1，即P1，P2和P3。 p1是領導者，其余是跟隨者。
現在有2個生產者希望推送到同一主題T1。 我相信P1將是他們兩個的領導者？ 還要為它們兩個都保留單個偏移量，還是每個生產者每個分區的偏移量維護者？
現在我有一個從T1進行輪詢的單一消費者。 它會默認從兩個生產者那里獲取消息嗎，還是要從特定生產者那里獲取消息時必須明確提及生產者名稱？
2 個解決方案
解決方案1
2 已采納 2019-08-04 15:24:41
領導者不依賴生產者或消費者，因此p1將始終作為領導者返回。 偏移量對於生產者而言並不重要，它們是針對每個消費者組定義的。 偏移量確定使用者組讀取並提交了哪些消息。
消費者將始終閱讀所有消息，這無關緊要，哪個生產者發布了它們。
解決方案2
0 2019-08-04 17:42:36
您可能正在混淆副本和分區。 當您說您的主題有3個分區時，這意味着您的記錄將根據記錄鍵（或調度程序算法）在其中進行調度。 沒有“領導分區”。 但是，您有一個負責處理分區的領導者經紀人。 在您的情況下，您將有3個領導者，每個領導者管理您3個分區之一。
關於Kafka分區的一篇有趣的文章：
亞尼克
Kafka多個制作人寫同一主題 - 消息和數據突發的排序
[英]Kafka multiple producer writing to same topic - Ordering of message and data burst
Kafka - 編寫同一主題和消息順序的多個制作人很重要
[英]Kafka - Multiple producers writing to same topic and order of message is important
多個 Kafka 生產者寫入同一主題 - 如何負載平衡消費
[英]Multiple Kafka Producers writing to the same topic - how to load balance consumption
Kafka-從多個服務器收集日志。 每個運行的生產者都應該寫相同的主題嗎？
[英]Kafka - collect logs from multiple servers. Should each producer running on write to the same topic?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.