[英]kafka-python - How do I commit a partition?
使用 kafka-python-1.0.2。
如果我有一个有 10 个分区的主题,我如何在循环各个分区和消息的同时提交一个特定的分区。 我似乎无法在文档或其他任何地方找到这样的例子
从文档中,我想使用:
consumer.commit(offset=offsets)
具体来说,我如何创建偏移所需的分区和 OffsetAndMetadata 字典(dict,可选) - {TopicPartition: OffsetAndMetadata}。
我希望函数调用是这样的:
consumer.commit(partition, offset)
但情况似乎并非如此。
提前致谢。
所以看起来我可能已经想通了,有趣的是当你写下你的问题时会发生这种情况。 这似乎有效:
meta = consumer.partitions_for_topic(topic)
options = {}
options[partition] = OffsetAndMetadata(message.offset + 1, meta)
consumer.commit(options)
需要更多测试,但如果有任何变化会更新。
没有必要使用元数据。 看这个例子:
from kafka import TopicPartition
from kafka.structs import OffsetAndMetadata
...
topic = 'your_topic'
partition = 0
tp = TopicPartition(topic,partition)
kafkaConsumer = createKafkaConsumer()
kafkaConsumer.assign([tp])
offset = 15394125
kafkaConsumer.commit({
tp: OffsetAndMetadata(offset, None)
})
希望这会有所帮助。
from kafka import KafkaConsumer
from kafka import TopicPartition
TOPIC = "test_topic"
PARTITION = 0
consumer = KafkaConsumer(
group_id=TOPIC,
auto_offset_reset="earliest",
bootstrap_servers="localhost:9092",
request_timeout_ms=100000,
session_timeout_ms=99000,
max_poll_records=100,
)
topic_partition = TopicPartition(TOPIC, PARTITION)
# format: topic, partition
consumer.assign([topic_partition])
consumer.seek(topic_partition, 1660000)
# format: TopicPartition, offset. 1660000 is the offset been set.
for message in consumer:
# do something
---编辑----
找到更好的方法来做到这一点。
topic_partition = TopicPartition(TOPIC,
message.partition)
consumer.seek(topic_partition, offset_value)
consumer.commit()
这将从kafka获取的消息中提取分区信息并保存子句以手动分配分区,从而在程序中需要设置多个分区的偏移量(并不罕见)时带来方便。
ps:为了确保一个分区只设置一次,应该根据您的应用程序设置一个标志。
只需要调用consumer.commit()
from kafka import KafkaConsumer
KAFKA_TOPIC_NAME='KAFKA_TOPIC_NAME'
KAFKA_CONSUMER_GROUP='KAFKA_CONSUMER_GROUP'
consumer = KafkaConsumer(
KAFKA_TOPIC_NAME,
bootstrap_servers=['localhost:9092'],
auto_offset_reset='earliest',
enable_auto_commit=False,
group_id=KAFKA_CONSUMER_GROUP
)
for message in consumer:
print(message.value)
consumer.commit() # <--- This is what we need
# Optionally, To check if everything went good
from kafka import TopicPartition
print('New Kafka offset: %s' % consumer.committed(TopicPartition(KAFKA_TOPIC_NAME, message.partition)))
from kafka import KafkaConsumer, TopicPartition, OffsetAndMetadata
consumer = KafkaConsumer("topic_name", enable_auto_commit= False, bootstrap_servers=["128.0.0.1:9092"],group_id= "group_name")
msg = next(consumer)
consumer.commit({TopicPartition("topic_name", msg.partition): OffsetAndMetadata(msg.offset+1, '')})
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.