Apache Beam Pipeline 能否用于批量编排？

Question

我是 apache beam 环境的新手。 尝试为批量编排安装 apache 光束管道。

我对batch的定义如下

批处理==>一组作业，
Job==> 可以有一个或多个子作业。

作业/子作业之间可能存在依赖关系。

apache 光束管道可以映射到我的自定义批次吗？？

Answer 1

Apache Beam 统一用于开发可以在Dataflow上运行的批处理和 stream 管道。 您可以使用 Dataflow 创建和部署流水线。 Beam Pipelines 是便携式的，因此您可以根据需要使用任何可用的运行器。

Cloud Composer可根据您的要求用于批量编排。 Cloud Composer 建立在 Apache Airflow 之上。Apache Beam 和 Apache Airflow 可以一起使用，因为 Apache Airflow 可以用来触发 Beam 作业。 由于您有自定义作业在运行，您可以配置 beam 和 airflow 以进行批处理。

Airflow 用于执行编排和管道依赖管理，而 Beam 用于构建执行数据处理系统的数据管道。

Answer 2

我相信Composer可能更适合您想要制作的东西。 从那里，您可以使用 Airflow 运算符从您的环境启动数据流作业（例如，如果您使用 Python，则可以使用DataflowCreatePythonJobOperator ）。