从本地机器将 Python 连接到 AWS EC2 上的 kafka

Question

我正在尝试将我的 python 应用程序连接到在 AWS EC2 上运行的 kafka。 我可以通过终端连接 ec2 我用telnet <ec2 ip> 9092 。 我可以通过这个连接，但无法与 python 应用程序连接。 即使我的 python 应用程序启动时 ec2 ip 地址没有任何错误，我也无法从我的 kafka 主题从 ec2 到本地机器接收任何数据。

当我将我的公共 IP 地址添加到：

advertised.listeners=PLAINTEXT://<local ip addrss>:9092 

带有 kafka-connect 的 Debezium 连接器将无法启动，但如果不启用 Adverted.listeners 则它可以工作。

我如何配置 kafka 和 kafka-connect 以便我可以从本地机器上的 ec2 实例使用 kafka 主题？

Answer 1

你需要设置advertised.listeners是EC2公共DNS / IP，重新启动代理程序，然后打开监听端口上的VPC /防火墙的连接。

Debezium 的rest.advertised.listener属性与 Kafka broker 的不同，您不需要在本地机器上设置它。

Python 和 Kafka Connect 应该共享相同的bootstrap.server协议

您可以使用kafkacat -L -b <bootstrap>:9092更好地测试您的听众