已使用槽的 BigQuery 统计信息

Question

我们有多个运行 BigQuery 作业的 GCP 项目（dev、acc、pro），主要从 Airflow 触发。 我们注意到 BigQuery 插槽使用的云费用有所增加。 是否有 BigQuery 元数据表/视图，我们可以在其中查看所有查询、处理的数据以及它们的插槽使用情况（如果不是跨我们组织中的项目，那么至少每个项目）。 我们想确定哪些工作是昂贵的，我们可以减少插槽的使用。

Answer 1

您在这里有几个选项，但要利用此数据作为 SQL 查询的结果，您需要使用INFORMATION_SCHMEA.JOBS*视图。 您可以做JOBS ： https://cloud.google.com/bigquery/docs/information-schema-jobs或JOBS_BY_ORGANIZATION ： https://cloud.google.com/bigquery/docs/information-schema-jobs-组织

如果您使用按需定价，那么您将需要关注total_bytes_billed列，但对于插槽使用情况，您可以获得的最佳结果是查询期间的平均插槽数（这也有很多因素包括同时运行的其他作业数量。您可以在此处查看平均插槽消耗的示例查询： https://cloud.google.com/bigquery/docs/information-schema-jobs#examples