[英]Kafka : Check if 2 topics have been caught up
我在kafka中有2个主题，我正在双重写作。 它们的偏移量从不同的提交点开始。 我的消费者开始从第二个主题开始消费，但是最终会赶上第一个主题。 我如何最佳地找出他们是否都被追上了？
我打算查看两个主题消耗的先前消息的固定窗口，并检查消耗的消息是否本质上相似。 关于如何找到相似的任何想法？
关于如何确定它们是否已被追上的任何其他想法？
另外，我的主题有多个分区。 检查应包括是否已捕获所有分区。
从命令行或使用使用者api可以计算使用者延迟。 如果两个使用者的滞后时间都不大，那么您可以放心地认为这两个主题都已被接受。
另外，请帮助我理解为什么您需要针对两个主题写相同的消息。 您可以为一个主题设置多个消费者
您可以使用此处提供的方法自己计算延迟：
kafka.admin.ConsumerGroupCommand
这个答案还有更多细节：
对于 Kafka 消息压缩，它会显示在压缩的主题中吗？
[英]For Kafka message compression, will it show up in the topics compressed?
如何将Kafka Lag检入kafka版本2.11-0.11.0.0的主题
[英]How to Check Kafka Lag into topics for kafka version 2.11-0.11.0.0
如何清理 Kafka KStream 内部变更日志和重新分区主题
[英]How to clean up Kafka KStream internal changelog and repartition topics
Kafka 中的主题数量可以与客户端数量一样多吗？
[英]Can the number of topics in Kafka scale up as much as number of client?
kafka python - 找到消费者尚未订阅的新 kafka 主题的正确方法是什么？
[英]kafka python - What is the right way to find new kafka topics that a consumer has not been yet subscribed to?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
