氣流可以縮放多少？

Question

有沒有人報告他們能夠在公司擴大Airflow的規模？ 我正在考慮實施Airflow來執行5,000多個任務，每個任務每小時運行一次，有朝一日可以擴展到20,000多個任務。 在檢查調度程序時，由於只有一個實例可以運行，因此這似乎是一個瓶頸，而且我擔心調度程序要跟上很多任務。 我可以做？

Answer 1

我們每天在公司中執行數千個任務，並且在過去兩年的大部分時間里一直在使用Airflow。 這些中斷每15分鍾運行一次，並通過可隨時更改的配置文件生成（從用戶界面中獲取）。

簡短的答案-是的，根據您的基礎架構，它肯定可以擴展到該規模。 1.10的一些新功能應該比我們運行所有這些任務的1.8版本更容易。 我們在大型Mesos / DCOS上運行此程序，並進行了大量的微調以使其達到穩定點。

長話大說-盡管它可以擴展到這個規模，但我們發現更好的解決方案是針對其運行的dags類型優化了多個具有不同配置（調度程序設置，工作人員數量等）的Airflow實例 。 運行長時間運行的機器學習作業的一組DAG應該承載在與運行5分鍾的ETL作業的實例不同的Airflow實例上。 這也使不同的團隊更容易維護他們所負責的工作，並且更容易迭代所需的任何微調。