[英]How to get Total count of Records from Kafka Topic and Save into HDFS?
全部,
我正在使用从 Kafka 转储到 HDFS 的数据。 我能够使用数据并希望从 Kafka 获取记录总数并将文件保存为 HDFS 以便我可以使用该文件进行验证。 我能够在控制台中打印记录,但我不确定如何创建总计数文件?
从 Kafka 中提取记录的查询:
Dataset ds1=ds.filter(args[5]);
StreamingQuery query = ds1
.coalesce(10)
.writeStream()
.format("parquet")
.option("path", path.toString())
.option("checkpointLocation", args[6] + "/checkpoints" + args[2])
.trigger(Trigger.Once())
.start();
try {
query.awaitTermination();
} catch (StreamingQueryException e) {
e.printStackTrace();
System.exit(1);
}
以及我为获取记录并在控制台中打印而编写的代码:
Dataset stream=ds1.groupBy("<column_name>").count();
// 实际上,我想在不使用 GroupBy 的情况下获取计数,我尝试过long stream=ds1.count()
但遇到了错误。
StreamingQuery query1=stream.coalesce(1)
.writeStream()
.format("csv")
.option("path", path + "/record")
.start();
try {
query1.awaitTermination();
} catch (StreamingQueryException e) {
e.printStackTrace();
System.exit(1);
}
这不起作用,你能帮我解决这个问题吗?
一个主题中任何时候的记录数是一个移动的目标。
您需要使用旧的 Spark Streaming 来查找每个 Spark partiton batch的记录数,然后使用Accumulator
来计算所有已处理的记录,但这将是您可以获得的最接近的记录。
Spark + Kafka 声称只有一次处理语义,因此我建议您专注于错误捕获和监控,而不是仅计数验证。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.