已使用槽的 BigQuery 統計信息

Question

我們有多個運行 BigQuery 作業的 GCP 項目（dev、acc、pro），主要從 Airflow 觸發。 我們注意到 BigQuery 插槽使用的雲費用有所增加。 是否有 BigQuery 元數據表/視圖，我們可以在其中查看所有查詢、處理的數據以及它們的插槽使用情況（如果不是跨我們組織中的項目，那么至少每個項目）。 我們想確定哪些工作是昂貴的，我們可以減少插槽的使用。

Answer 1

您在這里有幾個選項，但要利用此數據作為 SQL 查詢的結果，您需要使用INFORMATION_SCHMEA.JOBS*視圖。 您可以做JOBS ： https://cloud.google.com/bigquery/docs/information-schema-jobs或JOBS_BY_ORGANIZATION ： https://cloud.google.com/bigquery/docs/information-schema-jobs-組織

如果您使用按需定價，那么您將需要關注total_bytes_billed列，但對於插槽使用情況，您可以獲得的最佳結果是查詢期間的平均插槽數（這也有很多因素包括同時運行的其他作業數量。您可以在此處查看平均插槽消耗的示例查詢： https://cloud.google.com/bigquery/docs/information-schema-jobs#examples