Spark結構化流獲取最后一個Kafka分區的消息

Question

我正在使用Spark結構化流技術來閱讀Kafka主題。

沒有任何分區，Spark Structired Streaming使用者可以讀取數據。

但是，當我向主題添加分區時，客戶端僅顯示來自最后一個分區的消息。 即如果主題中有4個分區，並且I.am在主題中推入1,2,3,4之類的數字，則客戶端僅打印4個而不是其他值。

我正在使用Spark Structured Streaming網站上的最新樣本和二進制文件。

    DataFrame<Row> df = spark
 .readStream()
 .format("kafka") 
.option("kafka.bootstrap.servers", "host1:port1,host2:port2") 
.option("subscribe", "topic1") 
.load()

我有什么想念的嗎？

Answer 1

通過將kafka-clients-0.10.1.1.jar更改為kafka-clients-0.10.0.1.jar解決了問題。

在此處找到參考Spark結構化流僅從Kafka的一個分區獲取消息