使用 BigQuery 在分區表中自動添加新行

Question

我在 Big Query 中有一張表，每天都會更新新行。 我使用帶有日期列的按日期分區創建了一個新的分區表，以減少執行時間和成本。 但是，我還需要每天使用新數據自動更新分區表。 這應該如何實施？ 我是 Bigquery 的新手，因此需要幫助。

Answer 1

您可以使用以下代碼將數據加載到基於列的時間分區表中。

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to create.
# table_id = "your-project.your_dataset.your_table_name"

job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("name", "STRING"),
        bigquery.SchemaField("post_abbr", "STRING"),
        bigquery.SchemaField("date", "DATE"),
    ],
    skip_leading_rows=1,
    time_partitioning=bigquery.TimePartitioning(
        type_=bigquery.TimePartitioningType.DAY,
        field="date",  # Name of the column to use for partitioning.
        expiration_ms=7776000000,  # 90 days.
    ),
)
uri = "gs://cloud-samples-data/bigquery/us-states/us-states-by-date.csv"

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Wait for the job to complete.

table = client.get_table(table_id)
print("Loaded {} rows to table {}".format(table.num_rows, table_id))

有關分區表的更多信息，您可以參考此文檔。