[英]How to programmatically get latest offset per Kafka topic partition in Python
[英]How to programmatically create a topic in Apache Kafka using Python
到目前为止,我还没有看到 python 客户端在不使用配置选项自动创建主题的情况下显式实现主题的创建。
您可以使用kafka-python
或confluent_kafka
客户端以编程方式创建主题,后者是librdkafka的轻量级包装器。
from kafka.admin import KafkaAdminClient, NewTopic
admin_client = KafkaAdminClient(
bootstrap_servers="localhost:9092",
client_id='test'
)
topic_list = []
topic_list.append(NewTopic(name="example_topic", num_partitions=1, replication_factor=1))
admin_client.create_topics(new_topics=topic_list, validate_only=False)
from confluent_kafka.admin import AdminClient, NewTopic
admin_client = AdminClient({
"bootstrap.servers": "localhost:9092"
})
topic_list = []
topic_list.append(NewTopic("example_topic", 1, 1))
admin_client.create_topics(topic_list)
如果可以运行confluent_kafka
(Python) v0.11.6
或以上版本,那么下面是如何create kafka topics
、 list kafka topics
和delete kafka topics
:
>>> import confluent_kafka.admin, pprint
>>> conf = {'bootstrap.servers': 'broker01:9092'}
>>> kafka_admin = confluent_kafka.admin.AdminClient(conf)
>>> new_topic = confluent_kafka.admin.NewTopic('topic100', 1, 1)
# Number-of-partitions = 1
# Number-of-replicas = 1
>>> kafka_admin.create_topics([new_topic,]) # CREATE (a list(), so you can create multiple).
{'topic100': <Future at 0x7f524b0f1240 state=running>} # Stdout from above command.
>>> pprint.pprint(kafka_admin.list_topics().topics) # LIST
{'topic100' : TopicMetadata(topic100, 1 partitions),
'topic99' : TopicMetadata(topic99, 1 partitions),
'topic98' : TopicMetadata(topic98, 1 partitions)}
要使用相同的kafka_admin
对象delete kafka topics
,请执行以下操作:
kafka_admin.delete_topics(['topic99', 'topic100',]) # DELETE
我希望这有帮助。 \\(◠﹏◠)/
看起来您可以使用以下内容来确保您的主题已经存在(我假设您正在使用以下kafka python实现):
client = KafkaClient(...)
producer = KafkaProducer(...)
client.ensure_topic_exists('my_new_topic')
producer.send_messages('my_new_topic', ...)
好像没有kafka server api来创建topic所以得用topic自动创建或者命令行工具:
bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
已经太晚了。 我不知道用于显式创建主题的命令,但以下命令会创建并添加消息。
我创建了一个 python kafka 生产者:
prod = KafkaProducer(bootstrap_servers='localhost:9092')
for i in xrange(1000):
prod.send('xyz', str(i))
在 Kafka 主题列表中, xyz
以前不存在。 当我执行上述方法时,Python-kafka 客户端创建了它并将消息添加到其中。
进行编程主题创建和配置所需的 AdminClient API 刚刚添加到 Kafka 0.11(最初用于 Java)
随着时间的推移,预计非 Java 客户端库也将添加此功能。 与您正在使用的 Kafka Python 客户端(有多个)的作者联系,以查看是否以及何时在 API 中提供 KIP-4 管理协议支持
from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
topic = 'topic-name'
producer.send(topic, final_list[0]).get(timeout=10)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.