如果我有多个生产者向 Kafka 生产相同的数据，为每个生产者配置一个主题或为所有生产者配置一个主题是否有效
[英]If I have multiple producers producing same data to Kafka,Is it efficient to configure one topic for each producer or one topic for all producers
问题描述
我有更多的生产者，比如大约 200 个。每个生产者都有 4 种不同的数据。 那么从所有生产者向同一主题生成数据是否有效，或者为每个生产者配置不同主题是否有效？
我想在消费者端分别收集每个生产者数据。
在消费者端处理数据的可用方法有哪些？
1 个解决方案
解决方案1
0 2022-11-15 14:05:44
没有区别。 代理只存储字节； 它不知道“类型”。
将所有内容都放在一个主题中的主要问题是您的消费者将需要知道如何一致地反序列化和处理这些字节。 即设置value.deserializer可能不会返回具体的 class，而是返回一些通用类型，例如 JSON 字符串或 Avro GenericRecord，然后需要在您的消费者中进行额外的解析和大型 switch-case 逻辑
Kafka - 编写同一主题和消息顺序的多个制作人很重要
[英]Kafka - Multiple producers writing to same topic and order of message is important
多个 Kafka 生产者写入同一主题 - 如何负载平衡消费
[英]Multiple Kafka Producers writing to the same topic - how to load balance consumption
在不同服务器上有多个生产者写同一主题是否可以接受？
[英]Is it acceptable to have multiple producers on different servers writing to the same topic?
Kafka多个制作人写同一主题 - 消息和数据突发的排序
[英]Kafka multiple producer writing to same topic - Ordering of message and data burst
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.