BigQuery 中的 EXPORT DATA OPTIONS() 创建多个几 kbs 的文件

Question

在BigQuery中运行以下命令会创建几个 Kbs 的多个文件，并且似乎无法控制这些文件，有没有什么办法可以让我们在单个文件太小的情况下不会得到多个文件？？？

EXECUTE IMMEDIATE '''
   EXPORT DATA
   OPTIONS(
      uri= 'gs://<bucket-name>/demo_dir/file-name-*.parquet.snappy',
      format='PARQUET',
      overwrite=true,
      compression='SNAPPY')
   AS SELECT * FROM `bigquery-public-data.bls.c_cpi_u`;
''';

Answer 1

是和不是。 您可以通过删除 uri 中的通配符将其强制合并到一个文件中。

gs://<bucket-name>/demo_dir/file-name.parquet.snappy 。

但是，如果您希望指定 1+n 的数字，则不能。 建议任何低于 GB 的数据都指定一个 uri，超过 GB 的数据使用通配符。 通配符将从那里将数据拆分为所需数量的文件。 更多文档可以在这里找到： https://cloud.google.com/bigquery/docs/exporting-data#exporting_data_into_one_or_more_files