如何將 Airflow 與 Github 集成以運行腳本

Question

如果我們在 github 存儲庫帳戶中維護我們的代碼/腳本，有沒有辦法從 Github 存儲庫復制這些腳本並在其他集群（可以是 Hadoop 或 Spark）上執行。

氣流是否提供任何操作員連接到 Github 以獲取此類文件？

在 Github 中維護腳本將提供更大的靈活性，因為代碼中的每一次更改都將直接從那里反映和使用。

關於這種情況的任何想法都會真正有幫助。

Answer 1

您可以將GitPython用作 PythonOperator 任務的一部分，以按照指定的計划運行拉取。

import git 

g = git.cmd.Git( git_dir )
g.pull()

不要忘記確保您已添加相關密鑰，以便氣流工作人員有權提取數據。