在 GCP 中創建帶分區的外部表

Question

我正在嘗試創建一個帶有分區的外部表，下面是我正在使用的參考圖像。

這是我打算做的：

我有文件流入此文件夾：

我需要根據日期查詢外部表：

例如：

select * 來自 _PartitionDate ='';

我的具體查詢是我應該在 GCS 存儲桶和源數據分區字段中填寫什么。

謝謝你。

Answer 1

根據 Guillaume 提供的文檔 [1]，您應該單擊Source data partitioning框並在那里提供以下鏈接：

gs://datalake-confidential-redacted/ExternalTable_Data/

此外， Table type應為External table 。

修復后，您應該能夠創建表。 我自己重現了這個問題並且它正在工作。

Answer 2

文檔的這一部分應該對您有所幫助。 您需要檢查Source data partitioning ，然后填寫您的前綴 URI，例如

gs://datalake-confidential-redacted/ExternalTable_Data/{dt:DATE}

然后，將此dt字段用作查詢中的任何字段

SELECT *
FROM `externale-table`
WHERE dt = "2020-01-10"

Answer 3

自定義向導在使用此方法時存在問題。 一旦我們使用 Teraform 腳本，它就成功了。 它強制需要將 HIVE 分區標記為自定義，一旦創建日期列，它就會作為列添加到表中。 在那里允許查詢。