如何在 Spark 中将文件名作为列传递

Question

我需要将 Hadoop 文件路径数组传递给 spark.read

status= Array(org.apache.hadoop.fs.FileStatus)

我试过：

val s = spark.read.format("json").load(status: _*)

错误：

<console>:32: error: overloaded method value load with alternatives:

  (paths: String*)org.apache.spark.sql.DataFrame <and>

  (path: String)org.apache.spark.sql.DataFrame

cannot be applied to (org.apache.hadoop.fs.FileStatus)

       val s = spark.read.format("json").load(status: _*)

如何在 Spark 中将文件名作为列传递？

Answer 1

您必须首先从FileStatus对象数组中获取文件路径。

这应该可以正常工作：

val files = status.map(_.getPath().toString)

val df = spark.read.format("json").load(files: _*)