Airflow BashOperator 通过 Python 脚本之间的 Arguments

Question

为了在使用 Apache Airflow 调度时在 virtualenv 中运行 Python 脚本，使用了BashOperator 。

例如，

task_a = BashOperator(
    task_id='task_a',
    bash_command='/path/to/virtualenv/bin/python /path/to/script_a.py'),
    dag=dag)

task_b = BashOperator(
    task_id='task_b',
    bash_command='/path/to/virtualenv/bin/python /path/to/script_b.py'),
    dag=dag)

在这种情况下，我们如何在task_a和task_b之间传递数据，就像在使用PythonOperator时使用 Xcom 时一样？

Answer 1

{{ ti.xcom_pull(task_ids='task_a') }}作为参数传递给task_b中的脚本。 请记住，只有 BashOperator 的BashOperator的最后一行被推送到 Xcom。

task_a = BashOperator(
    task_id='task_a',
    bash_command='/path/to/virtualenv/bin/python /path/to/script_a.py'),
    dag=dag)

task_b = BashOperator(
    task_id='task_b',
    bash_command="/path/to/virtualenv/bin/python /path/to/script_b.py {{ ti.xcom_pull(task_ids='task_a') }}"),
    dag=dag)