如何将S3存储桶中的csv文件转换为RDD

Question

我对这个话题很新，所以任何帮助都会非常感激。

我试图读取存储在S3存储桶中的csv文件，并将其数据转换为RDD以直接使用它，而无需在本地创建文件。

到目前为止，我已经能够使用AmazonS3ClientBuilder加载文件，但我唯一得到的是将文件内容放在S3ObjectInputStream中，而我无法使用其内容。

val bucketName = "bucket-name"

val credentials = new BasicAWSCredentials(
   "acessKey",
   "secretKey"
);

val s3client = AmazonS3ClientBuilder
    .standard()
    .withCredentials(new AWSStaticCredentialsProvider(credentials))
    .withRegion(Regions.US_EAST_2)
    .build();

val s3object = s3client.getObject(bucketName, "file-name.csv")
val inputStream = s3object.getObjectContent()
....

我也尝试使用BufferedSource来处理它，但是一旦完成，我不知道如何将它转换为数据帧或RDD来使用它。

val myData = Source.fromInputStream(inputStream)
....

Answer 1

您可以使用Hadoop-AWS模块中提供的S3A文件系统来执行此操作：

1. 添加此依赖项https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-aws
2. 在core-site.xml中定义<property><name>fs.s3.impl</name><value>org.apache.hadoop.fs.s3a.S3AFileSystem</value></property>或添加.config("fs.s3.impl", classOf[S3AFileSystem].getName)到SparkSession构建器
3. 使用spark.read.csv("s3://bucket/key")访问S3。 如果你想要询问spark.read.csv("s3://bucket/key").rdd

Answer 2

最后，我能够得到我正在寻找的结果，看看https://gist.github.com/snowindy/d438cb5256f9331f5eec