在 GCP 中创建带分区的外部表

Question

我正在尝试创建一个带有分区的外部表，下面是我正在使用的参考图像。

这是我打算做的：

我有文件流入此文件夹：

我需要根据日期查询外部表：

例如：

select * 来自 _PartitionDate ='';

我的具体查询是我应该在 GCS 存储桶和源数据分区字段中填写什么。

谢谢你。

Answer 1

根据 Guillaume 提供的文档 [1]，您应该单击Source data partitioning框并在那里提供以下链接：

gs://datalake-confidential-redacted/ExternalTable_Data/

此外， Table type应为External table 。

修复后，您应该能够创建表。 我自己重现了这个问题并且它正在工作。

Answer 2

文档的这一部分应该对您有所帮助。 您需要检查Source data partitioning ，然后填写您的前缀 URI，例如

gs://datalake-confidential-redacted/ExternalTable_Data/{dt:DATE}

然后，将此dt字段用作查询中的任何字段

SELECT *
FROM `externale-table`
WHERE dt = "2020-01-10"

Answer 3

自定义向导在使用此方法时存在问题。 一旦我们使用 Teraform 脚本，它就成功了。 它强制需要将 HIVE 分区标记为自定义，一旦创建日期列，它就会作为列添加到表中。 在那里允许查询。