每秒卡夫卡提交多少次
[英]how many is too many Kafka commits per second
問題描述
我讀到，您不應該過於頻繁地向Kafka高級消費者提交偏移量，因為每次提交都是對Zookeeper的寫操作，因此您可以放慢Zookeeper的運行時間，因為它在整個仲裁期內是非常一致的。
我的問題是，寫給Zookeeper的很多文章被認為是什么？ 我每秒發送10條消息，如果我能負擔得起在每條消息之后提交的時間，這將使我的系統變得更好，但這是否很多呢？ 我真的不知道 在開始對滿載的Kafka集群進行測試之前，理想情況下，我希望有一個想法。
2 個解決方案
解決方案1
2 已采納 2015-05-01 09:47:51
如果您查看此圖，您會發現他們的示例設置（3x雙2Ghz Xeon和兩個SATA 15K RPM驅動器）如果只有寫入，則可以每秒處理約80000次寫入。
解決方案2
0 2015-04-23 13:23:28
我認為可以肯定地說，您可以增加多個數量級的寫入量。
這個家伙做着數百萬： http : //www.slideshare.net/hyderabadscalability/apache-kafka-zookeeper-35-million-writes-per-second 。 在他的幻燈片中，他提到每秒350萬，但沒有提及硬件。
另一個人提到，使用三台機器組成的集群，每秒200萬是可行的： https : //engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines
還有每秒100萬的其他用戶： http : //www.todaysoftmag.com/article/1364/high-performance-messaging-systems-apache-kafka
我們需要多少個Zookeper服務器才能支持18台kafka機器
[英]how many zookeper servers we need in order to support 18 kafka machines
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.