Kafka KStream - 衡量消费者滞后

Question

由于我的基于KStream的应用程序不遵循传统的Kafka Consumer路线，我应该如何跟踪消费者滞后？ 通常我会使用ConsumerOffsetChecker （或类似的东西），但它需要一个消费者组名。

我应该用什么呢？

（我想跟踪这个，所以我可以判断是否/何时推出新的消费者）

Answer 1

Kafka Streams KafkaConsumer内部利用KafkaConsumer ，并使用应用程序ID作为使用者组ID。 因此，您可以像对待任何其他消费者一样监视滞后。

请参阅http://docs.confluent.io/current/streams/developer-guide.html#required-configuration-parameters

应用程序ID（application.id）：每个流处理应用程序必须具有唯一的ID。 [...]

此ID在以下位置用于隔离应用程序使用的资源：

• 作为默认的Kafka使用者和生产者client.id前缀
• 作为卡夫卡消费群体。为协调
• 作为状态目录中子目录的名称（参见state.dir）
• 作为内部Kafka主题名称的前缀