使用Kafka消耗spark RDD

Question

JAVA中是否有任何样本可以使用Kafka在JAVA中消耗Spark RDD，如果有，请告诉我

我正在尝试一些事情，但是我不确定如何在生产者中发送RDD并在Kafka消费者中使用它。

谢谢。

Answer 1

要将RDD写入kafka，可以使用cloudera的API。 这是链接 。

Answer 2

代码将如下所示：

import org.apache.spark.streaming.kafka.*;

 JavaPairReceiverInputDStream<String, String> directKafkaStream = 
     KafkaUtils.createDirectStream(streamingContext,
         [key class], [value class], [key decoder class], [value decoder class],
         [map of Kafka parameters], [set of topics to consume]);

看一下kafka集成和代码示例