无法在 Airflow 2.0 中使用“from airflow.providers.google.cloud.operators.bigquery import BigQueryOperator”

Question

我正在 Google Cloud Platform 中学习 Cloud Composer 和 Airflow。 我正在尝试进行一些转换并加载到另一个表中。 from airflow.providers.google.cloud.operators.bigquery import BigQueryOperator给我一个错误，我查看了 airflow 文档，看不到它是否已更改。 这是我的代码

from airflow.providers.google.cloud.operators.bigquery import BigQueryOperator

bq_to_bq  = BigQueryOperator(
        task_id                     = "bq_to_bq",
        sql                         = "SELECT count(*) as count FROM `raw_bikesharing.stations`",
        destination_dataset_table   = 'dwh_bikesharing.temporary_stations_count',
        write_disposition           = 'WRITE_TRUNCATE',
        create_disposition          = 'CREATE_IF_NEEDED',
        use_legacy_sql              = False,
        priority                    = 'BATCH'
 )

模块“airflow.providers.google.cloud.operators.bigquery”中没有名称“BigQueryOperator”

Answer 1

还有另一个Airflow的最新运算符来执行查询和创建作业： BigQueryInsertJobOperator

我认为您没有使用现有的：

import airflow

from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator

execute_query = BigQueryInsertJobOperator(
        task_id='execute_query_task_id',
        configuration={
            "query": {
                "query": "select …",
                "useLegacySql": False,
            }
        },
        location='EU'
    )

您可以从我的 Github 存储库中查看此示例。