正常写入 apache-kafka 但无法读取 Spark 作业中的主题数据

Question

HDP 2.6.5 无路缘

我在集群中运行 kafka 和 spark。

我正在向 kafka 中的特定主题写入数据，并尝试运行 python 代码以读取和显示来自 kafka 的数据。

但是，读取会冻结并且不会引发错误。

启动 pyspark：

pyspark --master yarn --num-executors 1 --executor-cores 4 --executor-memory 16G --driver-cores 4 --driver-memory 8G --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1

在 pyspark shell 中：

from pyspark.sql import SparkSession, SQLContext, HiveContext
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
spark.conf.set("spark.sql.sources.partitionOverwriteMode", "dynamic")
sqlcontext = SQLContext(spark.sparkContext)
hivecontext = HiveContext(spark.sparkContext)
hivecontext.setConf("hive.exec.dynamic.partition", "true")
hivecontext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")

ds = spark.read.format("kafka").option("kafka.bootstrap.servers", "server-1:6667,server-2:6667").option("subscribe", "testtopic").option("startingOffsets", "earliest").option("endingOffsets", "latest").load()
ds.show()

当我在服务器上读取数据时：

./kafka-run-class.sh kafka.tools.SimpleConsumerShell --broker-list server-1:6667,server-2:6667 --topic testtopic --partition 0

数据在主题中。

我检查了运行 spark 的服务器的服务器和端口的可用性：

nc -zv server-1 2181
nc -zv server-1 6667

没关系

从一台服务器写入主题，从另一台服务器读取。 所有服务器都在一个集群中。

UPD。 通过科学的方法我发现：使用Kafka服务器上的命令

kafka-console-consumer.sh --zookeeper server-1:2181 --topic testtopic --from-beginning

给出数据。

使用命令

kafka-console-consumer.sh --bootstrap-server server-1:6667 --topic testtopic --from-beginning --partition 0

给出数据。

但是当我在另一台服务器上运行消费者时，它并没有出现在 kafka 消费者列表中

Answer 1

一旦定义了最终结果 DataFrame/Dataset，剩下的就是开始流式计算了。 为此，您必须使用通过 Dataset.writeStream() 返回的 DataStreamWriter（Scala/Java/Python 文档）。 您必须在此界面中指定以下一项或多项。 试试看：

ds.start()

https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#starting-streaming-queries