拆分Kafka主題的任何優勢
[英]Any advantages splitting up Kafka Topics
問題描述
我正在開發一個應用程序/ Kafka集群，該集群將產生/使用到主題的消息（每秒約10萬條消息）。 消息格式是相同的，因此我最初的想法是對所有消息使用單個主題。
但是，Kafka將消息分成多個主題有什么好處？ 存在可以應用的邏輯分離，該邏輯分離可以將主題分為多個（10個主題）。
除了生產者/消費者方面。 Kafka本身是否擁有1個大型主題與多個較小主題相關的性能，冗余，穩定性，管理等方面的偏好？
2 個解決方案
解決方案1
1 已采納 2018-04-10 17:45:27
主題分區是並行化Kafka的常用方法，但是，如果需要，您也可以選擇將其拆分為多個主題。 但我首先要研究事物的分區方面。 這是一篇很好的Confluent文章 ，介紹如何選擇正確數量的分區。 特別要注意的是，如果要在鍵上進行分區，然后在事實之后添加分區可能會導致數據拆分，因此請盡可能地對它進行適當的考慮。
解決方案2
0 2018-04-10 17:01:40
kafka中的並行性取決於主題中的分區數量。只要分區數量是最佳的，數據吞吐量就會增加（不必要的大量分區會產生開銷）。通過增加使用方數量，您可以同時從分區流式傳輸消息
對於 Kafka 消息壓縮，它會顯示在壓縮的主題中嗎？
[英]For Kafka message compression, will it show up in the topics compressed?
卡夫卡噴口錯誤“消費者未訂閱任何主題或未分配任何分區”
[英]Kafka spout error “Consumer is not subscribed to any topics or assigned any partitions ”
如何清理 Kafka KStream 內部變更日志和重新分區主題
[英]How to clean up Kafka KStream internal changelog and repartition topics
Kafka 中的主題數量可以與客戶端數量一樣多嗎？
[英]Can the number of topics in Kafka scale up as much as number of client?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.