在将数据从bigquery导出到Google Cloud Storage时控制文件大小

Question

我正在将大型数据集从bigquery导出到Goolge云存储为压缩格式。 在Google云存储中，我有文件大小限制（每个文件最大文件大小为1GB）。 因此，我在导出时使用拆分和同伴技术拆分数据。 示例代码如下：

gcs_destination_uri = 'gs://{}/{}'.format(bucket_name, 'wikipedia-*.csv.gz') 
gcs_bucket = storage_client.get_bucket(bucket_name)

# Job Config
job_config = bigquery.job.ExtractJobConfig()
job_config.compression = bigquery.Compression.GZIP

def bigquery_datalake_load():  
    dataset_ref = bigquery_client.dataset(dataset_id, project=project)
    table_ref = dataset_ref.table(table_id)
    table = bigquery_client.get_table(table_ref)  # API Request
    row_count = table.num_rows

    extract_job = bigquery_client.extract_table(
        table_ref,
        gcs_destination_uri,
        location='US',
        job_config=job_config)  # API request
    logging.info('BigQuery extract Started.... Wait for the job to complete.')
    extract_job.result()  # Waits for job to complete.

    print('Exported {}:{}.{} to {}'.format(
        project, dataset_id, table_id, gcs_destination_uri))
    # [END bigquery_extract_table]

该代码将大型数据集拆分并压缩为.gz格式，但它返回的多个压缩文件的大小在40MB到70MB之间舍入。

我正在尝试生成大小为1GB（每个文件）的压缩文件。 有什么办法可以做到这一点？

Answer 1

不幸的是，没有-Google会自行调整-您没有指定尺寸的选项。 我认为这是由于未压缩数据的大小（因此，每个BQ工作者生成一个文件，并且不可能从多个工作者生成一个文件）

Answer 2

我认为有可能。 您需要知道导出的总大小，并且可以使用多个通配符URI拆分结果。 {1}

例如，如果导出为10GB，则可以定义10个通配符URI，它们的大小约为aGB。

您在这里回答了类似的问题：{2}

{1}： https ： //cloud.google.com/bigquery/docs/exporting-data#exporting_data_into_one_or_more_files

{2}：将数据从BigQuery导出到GCS-拆分文件大小控制

Answer 3

正如其他成员所说，这是不可能的。 我认为这个问题不仅仅是必须处理Google特定算法，还涉及压缩文件是否可以在进行实际压缩之前计算出压缩大小，而答案是否定的问题。

因为所有压缩技术都使用某种字典，所以只有在翻译完所有符号后才能知道文件的最终大小，这意味着压缩已经完成。 还有另外一个职务 SO在此讨论了，这文章做解释有关压缩的一些基础知识。

可以对文件进行“填充”，以使其具有统一的更大大小，但是这样做将无法达到压缩的目的（节省空间）。