數據管道解決方案

Question

我們有一個用例來構建數據管道解決方案，其中我們需要以下內容：

1. 具有多個步驟的能力（一個步驟的輸出應作為下一步的輸入）
2. 能夠在每個步驟中使用多種算法（SQL 查詢或可能調用 REST 端點）。

第一步的輸入可以是任何東西。 我們有 DW 表，但我們可以預處理並將相關信息保存在 AWS S3 或其他數據存儲中。

像這樣的東西：

是否有現有的解決方案已經提供與此類似的功能或可以修改以支持此功能？

在 AWS 中擁有一些東西會更容易集成。

Answer 1

AWS Glue 怎么樣？ 聽起來很適合你的目標...