如何使用 Cloud Composer 運行數據流作業

Question

我知道 Apache 光束，我能夠使用它創建管道，我也知道 Cloud Composer 中的哪個運算符用於運行數據流作業，我只想知道如何將普通 apache 光束代碼轉換為數據流作業，以便我可以運行它使用 Cloud Composer ，我需要什么設置 我需要什么配置，我沒有發現谷歌文檔很有用，請幫助我。 我的要求是從雲存儲中讀取 csv 文件並使用數據流將其加載到 BigQuery 中，然后使用 Cloud Composer 對其進行調度。 我正在使用 Python。

Answer 1

可以在此處找到一些暫時有用的 GCP 文檔： https://cloud.google.com/composer/docs/how-to/using/using-dataflow-template-operator

但是，一般來說，如果您已經編寫了 Beam（並且它可以工作），那么您需要指定“Dataflow”運行器。

對於“自定義”數據流作業，您可能需要以下 Operator --> https://airflow.apache.org/docs/apache-airflow/1.10.6/_api/airflow/contrib/operators/dataflow_operator/index.html #airflow.contrib.operators.dataflow_operator.DataFlowPythonOperator

我確定您知道 Cloud Composer 由 Airflow 管理。 因此，您可以使用“常規” airflow 運算符。