数据管道解决方案

Question

我们有一个用例来构建数据管道解决方案，其中我们需要以下内容：

1. 具有多个步骤的能力（一个步骤的输出应作为下一步的输入）
2. 能够在每个步骤中使用多种算法（SQL 查询或可能调用 REST 端点）。

第一步的输入可以是任何东西。 我们有 DW 表，但我们可以预处理并将相关信息保存在 AWS S3 或其他数据存储中。

像这样的东西：

是否有现有的解决方案已经提供与此类似的功能或可以修改以支持此功能？

在 AWS 中拥有一些东西会更容易集成。

Answer 1

AWS Glue 怎么样？ 听起来很适合你的目标...