從HDFS根文件夾讀取數據並將其附加到Spark DF

Question

我正在從Spark Scala的HDFS文件夾中讀取JSON文件

碼：

val path = "hdfs://year/month/date/*"
var df = spark.read.format("json").load(path)

因此，它將讀取日期文件夾中的所有部分-JSON文件。

但是我想讀取year文件夾中的所有JSON文件，並將其附加到DF。 有任何建議請。

Answer 1

val path = "hdfs://year/*/*/*"
var df = spark.read.format("json").load(path)

這工作了。