Airflow可以運行流式GCP Dataflow作業嗎？

Question

我期待的協調軟件流媒體數據流GCP工作-東西，可以類似於什么，提供警報，地位，工作開展等， 這確實對Kubernetes。 答案在這里建議Airflow，因為他們有一些鈎入GCP - 這將是很好的，因為我們有一些在Airflow上運行的基礎設施。 但是我不確定這是否能夠處理流媒體作業 - 我的理解是Airflow是為完成任務而設計的，而不是流媒體工作的情況。 Airflow適合這個嗎？ 或者我應該使用不同的軟件？

Answer 1

它可能已經晚了，但回答了將來訪問這個主題的人。

是的，你絕對可以從氣流運行數據流流媒體作業。 使用1.9或以上的氣流版本。

鏈接： https ： //github.com/apache/incubator-airflow/blob/master/airflow/contrib/hooks/gcp_dataflow_hook.py

https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/dataflow_operator.py

你不需要為運行streamin工作付出額外的努力。 以上Dataflow運算符運行批處理和流式處理作業。 一旦數據流流工作開始運行（即作業處於運行狀態），它就標記氣流任務成功