[英]No output to Kafka topic: Spark Structured Streaming and Kafka Integration
[英]Writing Spark Structured Streaming Output to a Kafka Topic
我有一个简单的结构化流应用程序,它仅从一个Kafka主题读取数据并写入另一个主题。
SparkConf conf = new SparkConf()
.setMaster("local[*]")
.setAppName("test");
SparkSession spark = SparkSession
.builder()
.config(conf)
.getOrCreate();
Dataset<Row> dataset = spark
.readStream()
.format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("subscribe", "start")
.load();
StreamingQuery query = dataset
.writeStream()
.format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("checkpointLocation", "checkpoint")
.option("topic", "end")
.start();
query.awaitTermination(20000);
关于主题start
有两个消息要处理。 这段代码毫无例外地运行,但是没有消息出现在主题end
。 这个例子有什么问题?
问题在于消息已经在流中,并且起始偏移量未设置为“最早”。
Dataset<Row> dataset = spark
.readStream()
.format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("subscribe", start.getTopicName())
.option("startingOffsets", "earliest")
.load();
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.