運行Airflow DAG的問題

Question

我已經在Apache Airflow上工作了一段時間，以安排我的工作流程。 我似乎在安排DAG時遇到問題。 我一直在使用這個SO問題作為參考： Airflow不能正確調度Python

from airflow import DAG 
from airflow.operators.bash_operator import BashOperator
from datetime import datetime
from datetime import timedelta

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
'start_date': datetime.now() - timedelta(minutes=5),
'email': ['airflow@airflow.com'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
}

 dag = DAG('dag_mkdir_folder', default_args=default_args,
      schedule_interval=timedelta(minutes=5))


 task_hello = BashOperator(task_id='print_hello',
                      bash_command='mkdir test_airflow', dag=dag)

我正在嘗試使用以下命令列表運行任務：

 airflow scheduler
 airflow trigger_dag dag_mkdir_folder

我不斷得到這個錯誤：

[2017-05-15 13:49:06,688] {models.py:322} DagFileProcessor406 INFO -      Finding 'running' jobs without a recent heartbeat
[2017-05-15 13:49:06,689] {models.py:328} DagFileProcessor406 INFO -   Failing jobs without heartbeat after 2017-05-15 13:44:06.689284

bash命令僅應創建一個新目錄。 測試版本工作正常。

Answer 1

在另一個終端上運行調度程序，然后在另一個終端上觸發dag

也請嘗試提供要創建目錄的完整路徑。 例如，在airflow目錄中創建文件夾：

task_hello = BashOperator(task_id='print_hello',
                  bash_command="mkdir ~/airflow/test_airflow", dag=dag)

這應該在氣流內部創建test_airflow文件夾

Answer 2

您當前的bash_command告訴Airflow在DAG運行時使用的臨時目錄內創建一個目錄，該目錄將在DAG運行后隨其所有內容一起消失。

考慮將目錄更改為要在其中創建目錄。

一個bash_command如下所示：

"cd <path_to_directory>; mkdir test_airflow"