![](/img/trans.png)
[英]Is checkpointing mandatory when using a Kafka sink in Spark Structured Streaming?
[英]Old Kafka Offset consuming by Spark Structured Streaming after clearing Checkpointing location
我已经使用 Apache Kafka 和 Apache Spark 结构化流构建了一个应用程序。 我面临以下问题。
场景:
清除检查点位置后,我只期待流中的新消息。
Spark 版本:2.4.0,Kafka 客户端版本:2.0.0,Kafka 版本:2.0.0,集群管理器:Kubernetes。
我已经通过更改检查点位置尝试了这种情况,但问题仍然存在。
{
SparkConf sparkConf = new SparkConf().setAppName("SparkKafkaConsumer");
SparkSession spark = SparkSession.builder().config(sparkConf).getOrCreate();
Dataset<Row> stream = spark
.readStream()
.format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092")
.option(subscribeType, "REQUEST_TOPIC")
.option("failOnDataLoss",false)
.option("maxOffsetsPerTrigger","50")
.option("startingOffsets","latest")
.load()
.selectExpr(
"CAST(value AS STRING) as payload",
"CAST(key AS STRING)",
"CAST(topic AS STRING)",
"CAST(partition AS STRING)",
"CAST(offset AS STRING)",
"CAST(timestamp AS STRING)",
"CAST(timestampType AS STRING)");
DataStreamWriter<String> dataWriterStream = stream
.writeStream()
.format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("kafka.max.request.size", "35000000")
.option("kafka.retries", "5")
.option("kafka.batch.size", "35000000")
.option("kafka.receive.buffer.bytes", "200000000")
.option("kafka.acks","0")
.option("kafka.compression.type", "snappy")
.option("kafka.linger.ms", "0")
.option("kafka.buffer.memory", "50000000")
.option("topic", "RESPONSE_TOPIC")
.outputMode("append")
.option("checkpointLocation", checkPointDirectory);
spark.streams().awaitAnyTermination();
}
检查以下链接,
https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-rdd-checkpointing.html
您调用 SparkContext.setCheckpointDir(directory: String) 来设置检查点目录 - RDD 被检查点的目录。 如果在集群上运行,该目录必须是 HDFS 路径。 原因是驱动程序可能会尝试从自己的本地文件系统重建检查点的RDD,这是不正确的,因为检查点文件实际上在执行器机器上
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.