在AWS Glue作业中写入S3时是否可以指定SSE：KMS密钥ID？

Question

如果您遵循AWS Glue添加作业向导创建脚本以将镶木地板文件写入S3，则最终会生成类似如下的代码。

datasink4 = glueContext.write_dynamic_frame.from_options(
    frame=dropnullfields3,
    connection_type="s3",
    connection_options={"path": "s3://my-s3-bucket/datafile.parquet"},
    format="parquet",
    transformation_ctx="datasink4",
)

是否可以指定KMS密钥，以便在存储桶中对数据进行加密？

Answer 1

胶水scala工作

val spark: SparkContext = new SparkContext()
val glueContext: GlueContext = new GlueContext(spark)
spark.hadoopConfiguration.set("fs.s3.enableServerSideEncryption", "true")
spark.hadoopConfiguration.set("fs.s3.serverSideEncryption.kms.keyId", args("ENCRYPTION_KEY"))

我认为Python的语法应该有所不同，但思路相同

Answer 2

要使用PySpark阐明答案，您可以执行以下任一操作

from pyspark.conf import SparkConf
[...]
spark_conf = SparkConf().setAll([
  ("spark.hadoop.fs.s3.enableServerSideEncryption", "true"),
  ("spark.hadoop.fs.s3.serverSideEncryption.kms.keyId", "<Your Key ID>")
])
sc = SparkContext(conf=spark_conf)

注意spark.hadoop前缀-或（较丑但较短）

sc._jsc.hadoopConfiguration().set("fs.s3.enableServerSideEncryption", "true")
sc._jsc.hadoopConfiguration().set("fs.s3.serverSideEncryption.kms.keyId", "<Your Key ID>")

其中sc是您当前的SparkContext。