Amazon Athena 表创建问题

Question

我在 Athena 中有一张表，其中有 S3 作为源。

表列“Col1”之一的数据类型为字符串。

Col1
2019-11-21T12:26:13.422Z
2019-11-21T17:12:49.812Z
2019-11-21T17:51:38.299Z

我希望将此列转换为timestamp的数据类型。

我运行了以下查询：

SELECT
  from_iso8601_timestamp(col1) AS ABC
FROM "testtest"."layer2_keywords" 

然后我得到一个带有时间戳数据类型的列：

col1

    col1
1   2019-11-12 10:11:08.017 UTC
2   2019-11-21 09:19:58.937 UTC
3   2019-11-22 09:23:47.786 UTC

我想用这个表输出创建一个新表。

我尝试了以下查询：

CREATE TABLE NEW_TABLE AS
SLECT
  from_iso8601_timestamp(col1) AS ABC
FROM layer2_keywords

但是这个命令不是创建一个新表。

它抛出如下错误：

NOT_SUPPORTED：不支持的 Hive 类型：带时区的时间戳。 在重试之前，您可能需要手动清理位置 's3://athena-query-results-layer2/XXXXXXXXXX/' 处的数据。 Athena 不会删除您帐户中的数据。

任何人都可以指导我如何从 AWS Athena 中的选择查询中获取新表以进行字符串到时间戳的转换？

我必须依赖 Athena，因为 Glue crawler 和 Glue ETL 都没有将字符串转换为时间戳转换。

Answer 1

我得到了答案。

我使用CREATE TABLE AS SELECT (CTAS)。

请参阅： 在另一个查询中使用 Amazon Athena 查询的结果

但是有没有一种方法可以在数据保存到 S3 之前使用，比如 GROK 表达式？ 如果是，请任何人都可以提供一个分步程序来针对这个特定问题在 Glue 中编写 GROK 吗？

字符串到时间戳

字符串：2019-11-21T12:26:13.422Z

Answer 2

您可以使用 CAST() 函数如下：

CREATE TABLE NEW_TABLE AS
SLECT
  CAST(from_iso8601_timestamp(col1) AS TIMESTAMP) AS ABC
FROM layer2_keywords

我希望它能帮助你。