Airflow UI無法手動觸發dag

Question

版本：

• 氣流v1.10.1
• SQL Server后端
• Web服務器和調度程序在同一主機上運行
• LocalExecutor

使用UI（按鈕）手動觸發時，簡單的hello world DAG將不會運行。 通過命令行運行時，同一示例運行良好。 希望允許用戶使用UI來觸發作業。 這是一個錯誤。

已測試的Hello world DAG示例：

from datetime import datetime
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import PythonOperator

def print_welcome():
    return 'Welcome!'

dag = DAG('say_welcome', description='Simple tutorial DAG',
          schedule_interval='0 12 * * *',
          start_date=datetime(2017, 3, 20), catchup=False)

dummy_operator = DummyOperator(task_id='say_welcome_dummy_task', retries=3, dag=dag)

hello_operator = PythonOperator(task_id='say_welcome_task', python_callable=print_welcome, dag=dag)

dummy_operator >> hello_operator

從命令行測試輸出。

(airfow_v1_venv) sshuser@ed41-kp06sp:~/airflowv1/dags$ airflow trigger_dag say_welcome
[2018-12-03 19:38:34,679] {__init__.py:51} INFO - Using executor LocalExecutor
[2018-12-03 19:38:34,956] {models.py:271} INFO - Filling up the DagBag from /home/sshuser/airflowv1/dags
[2018-12-03 19:38:35,071] {cli.py:241} INFO - Created <DagRun say_welcome @ 2018-12-03 19:38:34+00:00: manual__2018-12-03T19:38:34+00:00, externally triggered: True>

使用UI觸發時記錄

    context)
  File "/home/sshuser/airfow_v1_venv/local/lib/python2.7/site-packages/sqlalchemy/engine/default.py", line 467, in do_executemany
    cursor.executemany(statement, parameters)
IntegrityError: (pyodbc.IntegrityError) ('23000', u"[23000] [Microsoft][ODBC Driver 17 for SQL Server][SQL Server]Violation of PRIMARY KEY constraint 'PK__task_ins__9BEABD04E2A8D429'. Cannot insert duplicate key in object 'dbo.task_instance'. The duplicate key value is (say_welcome_task, say_welcome, Dec  3 2018  7:40PM). (2627) (SQLExecDirectW)") [SQL: u'INSERT INTO task_instance (task_id, dag_id, execution_date, start_date, end_date, duration, state, try_number, max_tries, hostname, unixname, job_id, pool, queue, priority_weight, operator, queued_dttm, pid, executor_config) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)'] [parameters: (('say_welcome_task', 'say_welcome', datetime.datetime(2018, 12, 3, 19, 40, 9, 787000, tzinfo=<Timezone [UTC]>), None, None, None, None, 0, 0, u'', 'sshuser', None, None, 'default', 1, None, None, None, bytearray(b'\x80\x02}q\x00.')), ('say_welcome_dummy_task', 'say_welcome', datetime.datetime(2018, 12, 3, 19, 40, 9, 787000, tzinfo=<Timezone [UTC]>), None, None, None, None, 0, 3, u'', 'sshuser', None, None, 'default', 2, None, None, None, bytearray(b'\x80\x02}q\x00.')))]

Answer 1

在我看來，就像您嘗試覆蓋舊的say_welcome DAG一樣。

創建一個名為say_welcome_v1然后say_welcome_v1 。

創建新的DAG時，必須更改其名稱，以便可以在元數據庫中對其進行區分。 因此，使用的約定_v1 ， _v2每個時間等在DAG名稱的末尾有DAG中的變化。

由於您得到的錯誤是完整性錯誤，因此當您嘗試使用與已經存在的其他主鍵相同的主鍵將某些東西插入數據庫時​​會發生此錯誤。 新的DAG與舊的同名，很可能是錯誤。

如果您沒有任何歷史記錄/日志值得保留的舊DAG運行，則可以使用airflow resetdb airflow initdb重置數據庫並從頭開始。

從Airflow 1.10及更高版本開始，您還可以使用airflow delete_dag my_dag_id從元數據庫中刪除舊的DAG ID。