我可以将多个文件从 S3 读入 Spark 数据帧，并忽略不存在的文件吗？

Question

我想从 S3 将多个镶木地板文件读入数据帧。 目前，我使用以下方法来做到这一点：

files = ['s3a://dev/2017/01/03/data.parquet',
         's3a://dev/2017/01/02/data.parquet']
df = session.read.parquet(*files)

如果所有文件都存在于 S3 上，这有效，但我想要求将文件列表加载到数据帧中，而不会在列表中的某些文件不存在时中断。 换句话说，我希望 sparkSql 将它找到的尽可能多的文件加载到数据框中，并返回此结果而不会抱怨。 这可能吗？

Answer 1

是的，如果您将指定输入的方法更改为 hadoop glob 模式，则是可能的，例如：

files = 's3a://dev/2017/01/{02,03}/data.parquet'
df = session.read.parquet(files)

您可以在Hadoop javadoc 中阅读有关模式的更多信息。

但是，在我看来，这不是处理按时间分区的数据（在您的情况下是按天）的优雅方式。 如果您能够像这样重命名目录：

• s3a://dev/2017/01/03/data.parquet --> s3a://dev/day=2017-01-03/data.parquet
• s3a://dev/2017/01/02/data.parquet --> s3a://dev/day=2017-01-02/data.parquet

那么您可以利用spark 分区模式并通过以下方式读取数据：

session.read.parquet('s3a://dev/') \
    .where(col('day').between('2017-01-02', '2017-01-03')

这种方式也将省略空/不存在的目录。 额外的列day将出现在您的数据框中（它将是 spark <2.1.0 中的字符串和 spark >= 2.1.0 中的日期时间），因此您将知道每条记录存在于哪个目录中。

Answer 2

我是否可以观察到，由于全局模式匹配包括路径的完全递归树遍历和模式匹配，因此它是针对对象存储（尤其是 S3）的绝对性能杀手。 spark中有一个特殊的快捷方式可以识别您的路径何时没有任何glob字符，在这种情况下，它是一个更有效的选择。

类似地，在年/月/日布局中非常深的分区树意味着扫描许多目录，每个目录的成本为数百毫秒（或更糟）。

Mariusz 建议的布局应该更有效率，因为它是一个更扁平的目录树——切换到它应该比真正的文件系统对对象存储的性能产生更大的影响。

Answer 3

使用union的解决方案

files = ['s3a://dev/2017/01/03/data.parquet',
         's3a://dev/2017/01/02/data.parquet']

for i, file in enumerate(files):
    act_df = spark.read.parquet(file)   
    if i == 0:
        df = act_df
    else:
        df = df.union(act_df)

一个优点是它可以在任何模式下完成。

Answer 4

import sys
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.transforms import *
from awsglue.dynamicframe import DynamicFrame
from awsglue.utils import getResolvedOptions
from awsglue.job import Job

import boto3


sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)


inputDyf = lueContext.create_dynamic_frame.from_options(connection_type="parquet", connection_options={'paths': ["s3://dev-test-laxman-new-bucket/"]})

我能够从s3://dev-test-laxman-new-bucket/读取多个 (2) 镶木地板文件并写入 csv 文件。

如您所见，我的存储桶中有 2 个 parqet 文件：

希望对其他人有帮助。