如何减少 BigQuery 中的临时表过期时间

Question

我们运行访问BigQuery的Spark作业。 在读取阶段，数据从命名约定_sbc_*的临时表中提取。 默认情况下，表到期时间为24 小时。 但对于我们的用例， 1 小时的保留期绰绰有余。 我想知道是否可以将临时表的过期时间从 24 小时缩短到 1 小时。

下面是我们如何实例化spark config ，

val sparkConf = new SparkConf
   sparkConf.setAppName("test-app")
   sparkConf.setMaster("local[*]")
   sparkConf.set("viewsEnabled", "true")
   sparkConf.set("parentProject", "<parentProject>")
   sparkConf.set("materializationProject", "<materializationProject>")
   sparkConf.set("materializationDataset", "<materializationDataset>")
   sparkConf.set("credentials", "<credentials>")

注意：临时表是在为materializationProject参数传递的项目中创建的。

星火版本： spark-2.3.1

Answer 1

spark-bigquery-connector不提供任何选项来设置它在读取期间创建的物化视图的到期时间。

但是，如果您为这些作业使用特定的materializationDataset ，则可以在 BigQuery 中直接定义该数据集的默认到期时间。 它将应用于数据集下创建的所有表和视图。

bq update --default_table_expiration 3600 materializationProject:materializationDataset 

Answer 2

自 2023 年 1 月 13 日起，现在似乎有一个名为materializationExpirationTimeInMinutes的选项用于定义临时表到期时间。 如果未设置，则默认为 24 小时。

看这里。