Pyspark 3.1.1 直接用kafka串流？

Question

Pyspark 2.4.7 包含为 kafka 主题创建直接 stream 侦听器的能力（ 文档）

但是，pyspark 的 3.1.1（最新）版本没有此功能。 并且 kafka 直接流式传输的最新文档不再包含 python 示例。

我的问题是如何在 kafka 和 pyspark 3.1.1 中使用直接流式传输（不是结构化流式传输）？

Answer 1

自 Spark 2.3.0 起，kafka 0.8 支持已弃用。

spark-streaming-kafka-0-8 has language support for Scala, Java, Python but spark-streaming-kafka-0-10 does not support Python.

请参考以下链接

https://spark.apache.org/docs/2.4.7/streaming-kafka-integration.html