Kafka 主题仍然与 Kafka Streams 应用程序的旧消费者组相关联

Question

我有一个 stream 加入应用程序，我使用组 ID 说 consumergroup1 加入了两个 KStreams（比如从topic1 ， topic2读取）。 后来我将一个主题从topic2更改为topic3 。 现在在 consumergroup1 下，我仍然看到三个主题（ topic1 、 topic2和topic3 ）并且我看到topic2的滞后（我不再在 stream 连接中使用它，其他一些进程正在生成关于这个主题的消息）

有人可以建议从消费者组 1 中删除未使用的主题（例如topic2示例中的主题 2）的最佳方法是什么。

提前致谢。

Answer 1

Kafka Streams 应用程序是有状态的，它们在重新启动时“记住东西”，以便能够从中断的地方恢复计算，并从上次提交的偏移量继续从 Kafka 读取。

在开发环境中，您可能只是在需要时删除 state 是安全的，默认情况下存储在/var/lib/kafka-streams/<application.id>中，或者使用应用程序重置工具（请参阅https： //docs.confluent.io/platform/current/streams/developer-guide/app-reset-tool.html#step-2-reset-the-local-environments-of-your-application-instances ）。

您也可以在重新启动时使用不同的application.id 。

在生产环境中，在这种情况下要做什么更临时，因为这些主题中有数据并且您通常想用它做一些事情=>您通常围绕这种情况编写一些代码以确保从topic2到topic3的转换正在做你想做的事。 例如，也许您只是将topic2留在周围，而您只是从不向其推送任何新数据，因此延迟保持在 0。