大查詢 api 使用 python Api

Question

我正在嘗試通過讀取存儲桶原始文件（基於存儲桶文件名，它應該創建相同的表）來自動創建 BQ 中的表，這將使用 yml 作為配置。 任何人都可以提供有關如何使用代碼示例編寫的線索。

Answer 1

我正在做類似的事情。 它還取決於您想如何讀取存儲桶“原始文件”，在我的例子中是 GCS 通知 + PubSub。

非常簡單的例子：

uri = "gs://" + event['attributes']['bucketId'] + "/" + filename
table = os.path.splitext(filename)[0]

#Format the filename to only numbers and letters (no special characters)
table = re.sub('[^A-Za-z0-9]+', '', table)

# Construct a BigQuery client object.
client = bigquery.Client()

# Name of the table which will be created automatically by BigQuery
table_id = project_id + "." + dataset_id + "." + table

job_config = bigquery.LoadJobConfig(
    autodetect=True,
    source_format=bigquery.SourceFormat.CSV,
)

load_job = client.load_table_from_uri(
        uri, table_id, job_config=job_config
)

如果表不存在，BigQuery 作業將自動創建表。