Airflow 在 Python 運算符之間傳遞數據幀

Question

我試圖尋找這個答案，但找不到任何對我想做的事情有意義的事情。

我正在嘗試創建一個 DAG，它將從 FTP 獲取文件並返回數據幀，清理數據幀，然后導入到 SQL。 所以它最終看起來像：

connect_to_ftp >> get_file >> clean_dataframe >> import_to_sql

因此，如果我想在一個運算符中獲得 dataframe，然后將其傳遞給另一個運算符，我該怎么做？ 我應該使用 xcom 變量，還是應該在我的代碼中創建全局變量？

Answer 1

所以我閱讀了文檔： https://airflow.apache.org/concepts.html#operators

運算符應該是原子的，並且應該很少互相傳遞數據。 所以我想我想錯了嗎？