Airflow如何從python運算符創建數據流作業？

Question

當我使用直接運行程序或數據流運行程序通過命令行運行Beam管道時，它可以正常工作...

例：

$ python my_pipeline.py --key /path/to/gcp/service/key.json --project gcp_project_name

但是，當我嘗試使用氣流時，我有兩個選擇，bash運算符或python運算符。

使用bash運算符會成功，但會限制我使用氣流功能的能力。

但是我想做的是將其作為python運算符運行。 所以我將模塊導入airflow dg文件中，然后以python運算符運行它。

如果我使用本地運行器，它也可以正常工作，但是當我將其更改為數據流運行器時，在GCP數據流上創建作業后此錯誤失敗，並顯示此錯誤

ImportError: No module named airflow.bin.cli

我想讓Airflow從python運算符創建數據流作業時缺少什么？

Answer 1

好的，那不是完美的解決方案，但是您可以使用

DataFlowPythonOperator()

這將運行我們之前提到的完全相同的bash命令。 這是一種解決方法，而不是等於PythonOperator而更像運行BashOperator ......還是不能用的氣流特性的實力在目前的情況下（如XCOM）... 文檔