来自 Kafka 消息的日志偏移、分区和主题

Question

我想从 Kafka 的消息中记录或打印偏移量、分区和主题。 我可以打印消息值，但我想使用 python 查看来自 Kafka 的偏移量和分区，以便我可以调试我的代码

from kafka import KafkaConsumer

consumer = KafkaConsumer('my-topic',
                         group_id='my-group',
                         bootstrap_servers=['localhost:9092'])
for message in consumer:
    print(f"Message is {message.value()}") 

Answer 1

该数据应该使用点表示法可用

消费者迭代器返回 ConsumerRecords，它们是公开基本消息属性的简单命名元组：主题、分区、偏移量、键和值：

https://github.com/dpkp/kafka-python

Answer 2

from kafka import KafkaConsumer

consumer = KafkaConsumer('my-topic',
                         group_id='my-group',
                         bootstrap_servers=['localhost:9092'])
for message in consumer:
    logger.debug(f"Consumer data: offset-{message.offset()} partition-{message.partition()} topic-{message.topic()}")
    print(f"Message is {message.value()}")