如何在Spark中使用Kafka Consumer

Question

我正在使用spark 2.1和Kafka 0.10.1。

我想通过每天阅读Kafka中特定主题的全部数据来处理数据。

对于火花流，我知道createDirectStream仅需要包含主题列表和一些配置信息作为参数。

但是，我意识到createRDD必须包含所有主题，分区和偏移信息。

我想使批处理像流式处理一样方便。

可能吗？

Answer 1

我建议您从Cloudera阅读本文。

本示例向您展示如何仅一次从Kafka获取数据。 由于ACID架构，您将把偏移量保留在postgres中。

因此，我希望能解决您的问题。