kafka - 可以將python程序連接到hadoop集群外的Kafka嗎？

Question

我想編寫一個python程序，它讀取文件並將數據作為生產者寫入Kafka。 Kafka在Hadoop集群中設置，Python將在Hadoop集群之外運行。

可以從外面連接嗎？ 我需要為python安裝Kafka庫嗎？ 我該如何安裝？

Answer 1

了解Kafka的最簡單方法是使用http://landoop.com/docs/lenses/developers

您將需要運行1個docker - 在本地調出所有內容，然后開發Python應用程序，使用通過Kafka API連接到Kafka的相應Kafka庫並向其生成消息

一旦你構建了你的應用程序 - 然后你就可以打包它並對你的Hadoop的Kafka經紀人進行打包

Answer 2

可以從外面連接嗎？

取決於防火牆規則，但是，有可能

我需要為python安裝Kafka庫嗎？ 我該如何安裝？

是。 Kafka有幾個Python庫。 例如， pip install kafka-python 。