在 Python 上的服務器之間發送數據 Kafka Apache

Question

producer = KafkaProducer(bootstrap_servers='kf-p1l-node3:9092,xxxxx,xxxxx',
                                 value_serializer=lambda x: dumps(x).encode('utf-8'))  # utf-8

consumer = KafkaConsumer(  bootstrap_servers='rdwh-node1:49092,xxxxx,xxxxx',
                                 # bootstrap_servers='kf-p1l-node3:9092,xxxxx,xxxxx',
                                 auto_offset_reset=param["AUTO_OFFSET_RESET"],
                                 consumer_timeout_ms=param["CONSUMER_TIMEOUT_MS"],
                                 enable_auto_commit=False,
                                 auto_commit_interval_ms=60000,
                                 group_id=param["GROUP_ID"],
                                 client_id=param["CLIENT_ID"]
                                 )
consumer.subscribe([param["TOPIC_IN"]])

如果 KafkaProducer 和 KafkaConsumer 的 bootstrap_server 相同，則此代碼有效。 但是如果將 KafkaConsumer 更改為另一台服務器，它就不起作用

Answer 1

引導服務器必須包含所有用於建立與 Kafka 集群的初始連接的服務器。 客戶端將使用所有服務器，而不管此處為引導指定了哪些服務器。 您可以在此處查看文檔： http://kafka.apache.org/090/documentation.html

consumer = KafkaConsumer('my-topic',
                         group_id='my-group',
                         bootstrap_servers=['node1:port1', 'node1:port2', 'node2:port3'])