卡夫卡主題數量增加導致動物園管理員失敗
[英]Increase number of topic in Kafka leads zookeeper fail
問題描述
我們計划將kafka用作IoT用例的消息代理，其中每個設備都被視為唯一主題。 當我每秒模擬10條消息到10,000個主題時，zookeeper陷入瓶頸，因此，所有Kafka監視工具都無法從JMX端口讀取吞吐量值和主題數。 將調整動物園管理員將解決問題。 在物聯網用例中，將有數以百萬計的設備輪詢數據，涉及數百萬個主題。 我想確保該方法是完美的選擇。 請提出建議。
2 個解決方案
解決方案1
0 2019-08-29 23:15:37
現在有另一個解決方案可用-試用Apache Pulsar。 它在主題數量上看起來很有希望，並且通常與Kafka非常相似，並且現在與Kafka兼容。 https://pulsar.apache.org/
解決方案2
-1 2016-05-17 12:05:49
您有權說，即使理論上您可以在Kakfa中擁有數百萬個主題，但Kafka中的主題數卻受Zookeeper約束 ，您不能擁有數百萬個主題。 每個設備創建主題/分區不是可擴展的解決方案。
您為什么需要數百萬個主題？
Kafka主題與Zookeeper相關嗎，如果Zookeeper更改，該主題將消失
[英]Is Kafka topic linked with zookeeper and If zookeeper changed will topic disappeare
在 Kafka 中，如果我增加主題中的分區數量，那么消息的順序會被破壞嗎？ （我用一鍵分區）
[英]In Kafka, if I increase the number of partitions in a topic then will order of messages be broken? (I used a key to partition)
無法從Zookeeper檢索主題/組/分區的kafka偏移量
[英]Can not retrieve kafka offset for a topic/group/partition from zookeeper
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.