如何将多个 csv 或 json 文件从 S3 读取到 spark jason

Question

我可以读取一个 csv 文件myexample.csv ，它位于一个 s3 桶中，进入 spark dataframe。

df = spark.read.csv(s3n://mybucket/myexample.csv)

But how can I read all the csv files in the bucket, for example myexample1.csv, myexample2.csv, myexample.csv which are in the same bucket s3://mybucket into a dataframe.

df = spark.read.csv(s3n://mybucket/) ..这行得通吗？

Answer 1

如果您想读取多个特定类型的文件（CSV、JSONlines、Parquet 等），并使用合并兼容的模式到单个数据集中，方法如下：

1. 生成文件列表（或目录，如果文件扩展名是标准的）。

2. 使用spark.read.format(...).option("mergeSchema", true).load(files: _*)

如果某些模式不兼容合并，但可以转换为通用模式，则应针对具有合并兼容模式的每组文件重复上述操作，然后将生成的数据帧投影到通用模式并合并，例如，类似：

val fileListsAndTransforms: Seq[Seq[String], DataFrame => DataFrame] = ...

fileListsAndTransforms.map { case (files, fn) =>
  spark.read.format(...).option("mergeSchema", true).load(files: _*)
    .transform(fn)
}.reduce(_ unionByName _)

代码示例位于 Scala 中，但它们同样适用于任何 Spark 支持的语言。