通过存储在 S3 中的 AWS Athena 读取相同格式的 JSON 和 CSV

Question

我在存储桶内的 S3 文件夹中有不同的数据格式 -

创建的表对于所有 CSV、JSON 和 gz 格式文件具有相同的列。

现在我通过查询从 Athena 查询数据 -

SELECT *
FROM test2
WHERE readtime >= '2016-10-12'
  AND readtime <  '2016-10-24'
ORDER BY readtime

我可以从 CSV 和 GZ 文件格式中获取数据，但不能从 JSON 文件中获取数据。 我是否应该使用不同的格式来查询 JSON 文件？ 我可以使用同一个表来查询我用于 CSV 文件的 JSON 文件吗？

Answer 1

您需要在 JSON 文件的顶部创建一个不同的表，该表将使用 JsonSerDe。

Answer 2

是的，根据 Tanveer 的回答，您需要为 JSON 创建一个单独的表。 但是通过最近宣布的一项名为 Federated Queries 的功能（即，在撰写本文时，在us-east-1中预览），您应该能够使用相同的查询来查询两个表。 请参阅https://docs.aws.amazon.com/athena/latest/ug/writing-federated-queries.html