卡夫卡多个主题到同一个avro文件
[英]Kafka multiple Topics into the same avro file
问题描述
我是KAFKA协议领域的新手，我想问一些与我的项目有关的重要信息。
我正在使用AVRO文件生成和使用消息，我想知道是否可以对多个主题使用相同的avro文件，例如，可以通过在生产者中使用不同的“名称”属性，并在其中使用特定的“名称”属性消费者。
非常感谢。 斯特凡诺
1 个解决方案
解决方案1
1 2018-07-20 13:27:03
您可以使用一个文件将数据发送到多个主题，是的，尽管我不确定为什么会这样做
对于将多个主题合并到一个Avro文件中，我会保持谨慎，因为架构必须在该文件的每个主题中都匹配
建议您例如使用Confluent Schema Registry，而不是发送单个Avro事件，因为如果不使用某些注册表，则很可能会将Avro模式作为每条消息的一部分发送，这将减慢Avro事件的发送速度。您的主题可能的吞吐量。 然后，寄存器中的Avro模式记录的名称将与主题名称相对应
如果kafka使用者使用多个主题，是否会处理相同的主题密钥？
[英]Does kafka consumer handle same topic keys if it consumes multiple topics?
Kafka 流 - 多个主题作为同一源还是每个源一个主题？
[英]Kafka streams - Multiple topics as same source or one topic per source?
是否可以使用 AVRO 为 Kafka 中的 Google Pub/Sub 主题定义模式？
[英]Is it possible to define a schema for Google Pub/Sub topics like in Kafka with AVRO?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.