气流-如何在传感器中使用宏

Question

我正在尝试在“对象”字段中的GCS传感器中使用宏，该宏已根据文档进行了模板化，但无法正常工作。 UI显示具有宏作为值的“对象”。

dag = DAG('dag-name',
        schedule_interval="@once",
        default_args=default_args)

date = "{{ ds }}"

gcs_sensor = GoogleCloudStorageObjectSensor(
    task_id='sensor-task-id'
    ,bucket='bucket-name'
    ,object='file-name-prefix' + date + '.gz'
    ,google_cloud_conn_id='google-cloud-storage-default'
    ,dag=dag)

dataflow_job_operator = KubernetesJobOperator(
    task_id='task-id'
    ,image='image/path:latest'
    ,command=exec_args
    ,environment=env_variables
    ,dag=dag)

dataflow_job_operator.set_upstream(gcs_sensor)

气流UI中的对象归档结果屏幕截图

我也尝试使用XCom使用pythonOperator推送日期，但没有成功。

是否可以通过这种方式使用宏，还是应该尝试其他方法？ 谢谢。

Answer 1

我相信您的屏幕截图位于“任务实例详细信息”选项卡上，在这种情况下，实际上应该看到file-name-prefix{{ ds }}.gz的预渲染值。

如果要查看已渲染的模板参数，则需要查看任务下的“ Rendered Template”选项卡。