Kubeflow VS 通用工作流编排器？

Question

与其他（通用）工作流编排器相比，我很难理解 Kubeflow (KF) 的功能角色。

我知道 KF 面向 ML 任务，并且构建在 Argo 之上。

两个问题：

1. KF 能否在更高级别用作工作流编排器来执行更通用的任务（即 ETL），其结果可能对以下 ML 任务有用？
2. 可以在 KF 中使用 Argo 的所有功能。
3. 通用工作流编排器（如 Airflow、argo 等）可以做什么而 KF 做不到？

Answer 1

1. 是的，您可以创建一个 python 函数/通用容器，其中包含可执行您喜欢的任何任务的代码。

• 预定义组件 - https://www.kubeflow.org/docs/components/pipelines/sdk-v2/component-development/

• python 组件 - https://www.kubeflow.org/docs/components/pipelines/sdk-v2/python-function-components/

2. KFP 是 Argo 工作流的抽象操作。 它使您能够使用 python 而不是编写 YAML 文件来创建工作流。 查看这篇文章： https://towardsdatascience.com/build-your-data-pipeline-on-kube.netes-using-kubeflow-pipelines-sdk-and-argo-eef69a80237c

• 由于 Argo Workflows 的开发是独立于 KFP 进行的，因此可以安全地假设 KFP 中将缺少一些功能（社区将根据需求添加哪些功能）。

3. 这是个大问题。 一般来说，airflow 具有传感器、SLA 功能/操作员/传感器/报告/插件的大量存储以及更大的社区，因为它不是面向 ML 的。