气流和 Kubeflow 管道有什么区别？

Question

机器学习平台是商业中的流行语之一，以促进 ML 或深度学习的发展。

有一个通用的部分工作流协调器或工作流调度器，可帮助用户构建 DAG、调度和跟踪实验、作业和运行。

有许多机器学习平台具有工作流编排器，如Kubeflow pipeline 、 FBLearner Flow 、 Flyte

我的问题是气流和 Kubeflow 管道或其他 ML 平台工作流编排器之间的主要区别是什么？

并且气流支持不同语言的 API 并且拥有庞大的社区，我们可以使用气流来构建我们的 ML 工作流程吗？

Answer 1

您绝对可以使用 Airflow 来编排机器学习任务，但您可能希望与操作员远程执行 ML 任务。

例如，Dailymotion 使用 KubernetesPodOperator 为 ML 任务扩展 Airflow。

如果您没有自己设置 Kubernetes 集群的资源，您可以使用具有 Airflow 运算符的 ML 平台，例如Valohai 。

在生产中进行 ML 时，理想情况下，您还希望对模型进行版本控制，以跟踪每次执行的数据、代码、参数和指标。

您可以在这篇关于Scaling Apache Airflow for Machine Learning Workflows 的文章中找到更多详细信息

Answer 2

我的问题是气流和 Kubeflow 管道或其他 ML 平台工作流编排器之间的主要区别是什么？

Airflow 管道在 Airflow 服务器中运行（如果任务资源过于密集，则存在将其关闭的风险），而 Kubeflow 管道在专用的 Kubernetes pod 中运行。 此外，Airflow 管道被定义为 Python 脚本，而 Kubernetes 任务被定义为 Docker 容器。

并且气流支持不同语言的 API 并且拥有庞大的社区，我们可以使用气流来构建我们的 ML 工作流程吗？

是的，您可以，例如，您可以使用 Airflow DAG 在 Kubernetes pod 中启动训练作业，以运行模拟 Kubeflow 行为的 Docker 容器，但您会错过 Kubeflow 的一些 ML 特定功能，例如模型跟踪或实验。