使用從 POST Json 傳遞的 Kwargs 定義全局 Airflow 變量

Question

我正在創建一個 DAG，它需要使用從用於觸發作業的 POST Json 傳入的 kwargs 設置全局變量的功能。 到目前為止，我已經嘗試過這種方式：

import airflow
from airflow import DAG
from datetime import timedelta

DAG_Name = 'dag_test'

DEFAULT_ARGS = {
    'owner': '...',
    'depends_on_past': False,
    'email': ['...'],
    'email_on_failure': True,
    'start_date': datetime(2020,8,31)
}

dag = DAG(DAG_Name, default_args=DEFAULT_ARGS, dagrun_timeout=timedelta(hours=2))

snap_date = ''
output_loc = ''
recast = ''

def define_param(**kwargs):
    global snap_date
    global output_loc
    global recast
    snapshot = str(kwargs['dag_run'].conf['snap_date'])
    output_s3 = kwargs['dag_run'].conf['output_loc']
    recast = str(kwargs['dag_run'].conf['recast'])


DEFINE_PARAMETERS = PythonOperator(
    task_id='DEFINE_PARAMETERS',
    python_callable=define_param,
    provide_context=True,
    dag=dag)

但這不起作用。 我將如何使用 kwargs 設置全局 dag 變量？

Answer 1

使用Variable.set因為它將對數據庫進行實際更新，並在需要時為您處理 session 和序列化。

Variable.set("snap_date", "2019-09-17")

參考： https://github.com/apache/airflow/blob/1.10.1/airflow/models.py#L4558-L4569