AWS Glue 和 REST API

Question

我目前正在研究用于将数据转换和推送到数据仓库的 ETL 服务。 我遇到了 AWS Glue，我想知道是否可以使用 REST API 和 AWS Glue 从外部源提取数据。 我已经浏览了文档，但没有发现是否可能。 有谁知道这是否可能，并且有任何资源可以参考以指引我正确的方向？

Answer 1

正如您已经写过的，AWS 胶水不支持此类功能。 相反，您可以将数据转储到 S3，然后使用胶水将其 ETL 到您的仓库。 这将要求您编写自定义解决方案，该解决方案将通过 REST API 访问您的源数据并将其存储在 S3 中。

或者，您可以使用stream它并使用Streaming ETL Job进行处理，而不是将数据存储在 S3 中。 无论哪种情况，您都必须开发一些代码来与您的 REST API 交互并获取您需要的数据。 因此，您可以完全跳过 Glue并将数据直接加载到您的仓库。

Answer 2

我们有一个类似的场景，我们需要从 REST API 加载一些数据。 首先，我们写了AWS胶合Python ZEA89B68C34CE4A63C63C63C6C6E3C6E3C6E30Z的作业，以加载来自Z50780F47F47F47F6839D477D47D47D47D47D47D47D477D477D477DEBC的工作然后，使用 AWS Glue 通过 ATHENA 从 S3 读取数据并加载到我们的关系数据库。