如何从Google Bucket创建分区表？

Question

每个周末，我都会向Google bucket添加一些文件，然后从命令行运行某些内容以使用新数据“更新”表。

“更新”是指删除表，然后使用bucket中的所有文件（包括新文件）来重新制作表。

我通过使用python在Windows命令行中执行以下命令来执行所有操作：

bq mk --table --project_id=hippo_fence-5412 mouse_data.partition_test gs://mybucket/mouse_data/* measurement_date:TIMESTAMP,symbol:STRING,height:FLOAT,weight:FLOAT,age:FLOAT,response_time:FLOAT

该表越来越大（> 200 GB），使用分区表对于实验室来说要便宜得多。

我已经尝试过以几种方式对表进行分区，包括官方文档所建议的内容，但我无法使其正常工作。

我尝试的最新命令只是插入--time_partitioning_type=DAY例如：

bq mk --table --project_id=hippo_fence-5412 --time_partitioning_type=DAY mouse_data.partition_test gs://mybucket/mouse_data/* measurement_date:TIMESTAMP,symbol:STRING,height:FLOAT,weight:FLOAT,age:FLOAT,response_time:FLOAT

但这没有用，给我错误：

FATAL Flags parsing error: Unknown command line flag 'time_partitioning_type'

我该如何进行这项工作？

Answer 1

对于旧数据，可能的解决方案是创建一个空的分区表，然后将每个存储桶文件导入所需的日分区中。 不幸的是，当我测试通配符时，它不起作用。

1.创建分区表

bq mk --table --time_partitioning_type=DAY [MY_PROJECT]:[MY_DATASET].[PROD_TABLE] measurement_date:TIMESTAMP,symbol:STRING,height:FLOAT,weight:FLOAT,age:FLOAT,response_time:FLOAT

2.在所需的分区日导入每个文件。 这是2018年2月22日以来文件的示例。

bq load [MY_PROJECT]:[MY_DATASET].[PROD_TABLE]$20180222 gs://MY-BUCKET/my_file.csv

3.正常处理当前上载 ，它们将在上载分区当天自动计数。

bq load [MY_PROJECT]:[MY_DATASET].[PROD_TABLE] gs://MY-BUCKET/files*