如何使用 AWS Athena 读取加密的 delta 格式的 s3 数据集？

Question

我想知道我们是否支持通过 Athena 读取 KMS-CSE 加密的增量格式数据集？

我正在浏览https://docs.delta.io/0.5.0/presto-integration.htm ，其中没有提到任何关于加密支持的内容。

如果我在 s3 中使用 KMS-CSE 加密了清单本身，我能否在 Athena 中成功读取它？

使用以下命令，我可以在 athena 中创建表。

CREATE EXTERNAL TABLE `delta_athena_demo`(
  `id` bigint)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://testing/_symlink_format_manifest/'
TBLPROPERTIES (
  'has_encrypted_data'='true')

但是，当我查询时，出现以下错误：

您的查询有以下错误：

HIVE_UNKNOWN_ERROR：检测到加密对象。 请将 TBLPROPERTIES (has_encrypted_data=true) 添加到表属性。

---

（在 delta-users@googlegroups.com 中找到）

Answer 1

我联系了 AWS Athena 支持，他们确认 Athena 目前不支持从加密的符号链接文本输入格式清单中读取。 他们将来可能会将此视为功能请求。