如何減少 BigQuery 中的臨時表過期時間

Question

我們運行訪問BigQuery的Spark作業。 在讀取階段，數據從命名約定_sbc_*的臨時表中提取。 默認情況下，表到期時間為24 小時。 但對於我們的用例， 1 小時的保留期綽綽有余。 我想知道是否可以將臨時表的過期時間從 24 小時縮短到 1 小時。

下面是我們如何實例化spark config ，

val sparkConf = new SparkConf
   sparkConf.setAppName("test-app")
   sparkConf.setMaster("local[*]")
   sparkConf.set("viewsEnabled", "true")
   sparkConf.set("parentProject", "<parentProject>")
   sparkConf.set("materializationProject", "<materializationProject>")
   sparkConf.set("materializationDataset", "<materializationDataset>")
   sparkConf.set("credentials", "<credentials>")

注意：臨時表是在為materializationProject參數傳遞的項目中創建的。

星火版本： spark-2.3.1

Answer 1

spark-bigquery-connector不提供任何選項來設置它在讀取期間創建的物化視圖的到期時間。

但是，如果您為這些作業使用特定的materializationDataset ，則可以在 BigQuery 中直接定義該數據集的默認到期時間。 它將應用於數據集下創建的所有表和視圖。

bq update --default_table_expiration 3600 materializationProject:materializationDataset 

Answer 2

自 2023 年 1 月 13 日起，現在似乎有一個名為materializationExpirationTimeInMinutes的選項用於定義臨時表到期時間。 如果未設置，則默認為 24 小時。

看這里。