pyspark中如何动态创建S3 bucket

Question

我想“如果不存在则创建”一个YYYY-MM-DD格式的 S3 存储桶，并将转换后的镶木地板文件存储在那里。 你如何在 pyspark 中实现这一点？ 我应该使用 boto3 还是 pyspark 有内置的东西？

我正在使用下面的代码从 S3 读取数据。 我想创建 S3 并将转换后的文件放在那里。

spark_context._jsc.hadoopConfiguration().set("fs.s3a.access.key", config.access_id)

spark_context._jsc.hadoopConfiguration().set("fs.s3a.secret.key", config.access_key)

spark.conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")

Answer 1

似乎您只需要启用： fs.s3.buckets.create.enabled