使用Apache Kafka生成數據並使用Spark Streaming接收數據

Question

我想知道如何在同一程序中使用apache Kafka生成隨機數據並使用Spark Streaming接收數據。

讓我們展示一個用例：

我想在X秒內生成這樣的隨機數據->（A，B，ab@hotmail.com）。 然后，我想接收此數據以進行實時處理（在接收數據的同時），如果第二個參數是B，則將帶有以下消息的電子郵件發送到'ab@hotmail.com'：“第一個參數是A”。

我知道我必須啟動一個zookeeper服務器，然后啟動一個kafka代理，然后創建一個主題，然后再創建一個生產者，以生產並發送此數據。 為了在kafka和流媒體之間創建連接，我需要使用“ createStream”函數。 但是我不知道如何使用生產者發送該數據，然后通過火花流接收該數據以進行處理。 所有這些都在同一程序中並使用Java。

有什么幫助嗎？ 謝謝。

Answer 1

不會有一個程序，只有一個Kafka生產程序和一個Spark程序。 對於這兩種方式，都可以在網上找到幾個示例，例如：

• https://github.com/apache/kafka/blob/trunk/examples/src/main/java/kafka/examples/Producer.java
• https://spark.apache.org/docs/latest/streaming-kafka-integration.html

要運行此程序，請啟動Kafka（包括ZK）和Spark集群。 然后，啟動寫入Kafka的Producer程序，並讀取從Kafka讀取的Spark作業（我想啟動Producer和Spark作業的順序無關緊要）。