使用来自网络服务器请求 json 数据的参数插入 BigQuery

Question

在谷歌函数中，我触发了一个 dag：

endpoint = f"api/v1/dags/{dag_id}/dagRuns"
    request_url = f"{web_server_url}/{endpoint}"
    json_data = {"conf": {"file_name": file_name}}

    response = make_composer2_web_server_request(
        request_url, method="POST", json=json_data
    )

可以在 python 运算符中获取该数据：

def printParams(**kwargs):
     for k, v in kwargs["params"].items():
         print(f"{k}:{v}")

task = PythonOperator(
        task_id="print_parameters",
        python_callable=printParams)

将 file_name 传递到从 POST 请求中获取的 sql 语句的方法是什么？

   perform_analytics = BigQueryExecuteQueryOperator(
           task_id="perform_analytics",
           sql=f"""
    Select **passFileNameVariableFromJsonDataHere** as FileName
    FROM my_project.sample.table1
       """,
           destination_dataset_table=f"my_project.sample.table2",
           write_disposition="WRITE_APPEND",
           use_legacy_sql=False
       )

有没有办法避免使用 xCom 变量，因为它是单个任务级别的操作？

Answer 1

我能够像这样读取 sql 查询中的值：

sql=f"""
    Select "{{{{dag_run.conf.get('file_name')}}}}" as FileName
    FROM my_project.sample.table1
       """