kafka - 可以将python程序连接到hadoop集群外的Kafka吗？

Question

我想编写一个python程序，它读取文件并将数据作为生产者写入Kafka。 Kafka在Hadoop集群中设置，Python将在Hadoop集群之外运行。

可以从外面连接吗？ 我需要为python安装Kafka库吗？ 我该如何安装？

Answer 1

了解Kafka的最简单方法是使用http://landoop.com/docs/lenses/developers

您将需要运行1个docker - 在本地调出所有内容，然后开发Python应用程序，使用通过Kafka API连接到Kafka的相应Kafka库并向其生成消息

一旦你构建了你的应用程序 - 然后你就可以打包它并对你的Hadoop的Kafka经纪人进行打包

Answer 2

可以从外面连接吗？

取决于防火墙规则，但是，有可能

我需要为python安装Kafka库吗？ 我该如何安装？

是。 Kafka有几个Python库。 例如， pip install kafka-python 。