[英]Using Kafka: Is there a way to aggregate data from multiple producers by key?
处理Kafka中的大量记录，记录分为不同的并行异步操作通道，然后我需要加入每个通道的结果。 一旦所有结果都可用于给定密钥，我想将这些检查中的所有数据提取到单个应用程序中。
我是Kafka的新手，但我正在将Ktables和交易看作是协调数据连接的工具。 如果我有一个所有生产者都要发送到的输出流，那么当给定密钥的所有结果都可用时，如何通知我的下游应用程序并收集数据。
当以下结果可用时，将通知下游应用程序：
| Key | Output1 | Output2 | Output3 | | 45678 | True | False | True |
有没有一个很好的内置方式与卡夫卡这样做？
从多个生产者向kafka发送数据时出现InterruptedException
[英]I get InterruptedException while sending data to kafka from multiple producers
如何从 kafka 中的两个生产者那里摄取数据并使用 spark 结构化流加入？
[英]How to ingest data from two producers in kafka and join using spark structured streaming?
如果我有多个生产者向 Kafka 生产相同的数据，为每个生产者配置一个主题或为所有生产者配置一个主题是否有效
[英]If I have multiple producers producing same data to Kafka,Is it efficient to configure one topic for each producer or one topic for all producers
从kafka主题中读取数据并使用spark tempview进行汇总？
[英]read a data from kafka topic and aggregate using spark tempview?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
