氣流和 Kubeflow 管道有什么區別？

Question

機器學習平台是商業中的流行語之一，以促進 ML 或深度學習的發展。

有一個通用的部分工作流協調器或工作流調度器，可幫助用戶構建 DAG、調度和跟蹤實驗、作業和運行。

有許多機器學習平台具有工作流編排器，如Kubeflow pipeline 、 FBLearner Flow 、 Flyte

我的問題是氣流和 Kubeflow 管道或其他 ML 平台工作流編排器之間的主要區別是什么？

並且氣流支持不同語言的 API 並且擁有龐大的社區，我們可以使用氣流來構建我們的 ML 工作流程嗎？

Answer 1

您絕對可以使用 Airflow 來編排機器學習任務，但您可能希望與操作員遠程執行 ML 任務。

例如，Dailymotion 使用 KubernetesPodOperator 為 ML 任務擴展 Airflow。

如果您沒有自己設置 Kubernetes 集群的資源，您可以使用具有 Airflow 運算符的 ML 平台，例如Valohai 。

在生產中進行 ML 時，理想情況下，您還希望對模型進行版本控制，以跟蹤每次執行的數據、代碼、參數和指標。

您可以在這篇關於Scaling Apache Airflow for Machine Learning Workflows 的文章中找到更多詳細信息

Answer 2

我的問題是氣流和 Kubeflow 管道或其他 ML 平台工作流編排器之間的主要區別是什么？

Airflow 管道在 Airflow 服務器中運行（如果任務資源過於密集，則存在將其關閉的風險），而 Kubeflow 管道在專用的 Kubernetes pod 中運行。 此外，Airflow 管道被定義為 Python 腳本，而 Kubernetes 任務被定義為 Docker 容器。

並且氣流支持不同語言的 API 並且擁有龐大的社區，我們可以使用氣流來構建我們的 ML 工作流程嗎？

是的，您可以，例如，您可以使用 Airflow DAG 在 Kubernetes pod 中啟動訓練作業，以運行模擬 Kubeflow 行為的 Docker 容器，但您會錯過 Kubeflow 的一些 ML 特定功能，例如模型跟蹤或實驗。