基于相同的密钥加入/分组 Kafka 中的多个主题

Question

我有多个由共享相同密钥的外部应用程序生成的主题，它们共享此 model：

主题 1：使用 unix 毫秒时间戳作为键生成消息。

Topic2：从 Topic1 读取并使用相同的密钥生成消息

Topic3：从 Topic2 读取并使用相同的密钥生成消息

.. 等等

我的应用程序依赖于 Topic3 中的最终消息（它们在 1-2 毫秒内生成），但我也想要 Topic1 中的值。 我创建了一个使用多个消费者的 class，但我觉得它不是很有效率。 c#应该怎么做？

我听说过 Kafka Streams java API 但我没能在 c# 中找到任何类似的东西。

Answer 1

confluent-kafka-do.net客户端还不支持 Kafka Streams。 有关更多信息，您可以参考问题#344 。

但是，你可以使用kafka-streams-do.net ，它是一个 .NET stream 处理库，用于 Apache Kafka。

---

另一个选项是ksqldb ，它允许您加入流。