AWS Athena 附带 Athena 联合查询

Question

我正在浏览AWS Athena 联合查询页面并了解到“您可以使用 Athena 联合查询（预览版）来查询数据或构建从多个数据源中提取数据并将其存储在 Amazon S3 中的管道。”

如果我在 AWS 账户之外有大量数据，我还需要将数据传输到 S3，以便我可以在 Athena 中使用它吗？

请各位大侠分享一下经验？ 谢谢

Answer 1

如果我在 AWS 账户之外有大量数据，我还需要将数据传输到 S3，以便我可以在 Athena 中使用它吗？

不，您无需将数据传输到 S3 即可使用 Athena Federated Query 进行查询。 您可以连接外部资源并查询它们。 但是，您查询的结果将始终保存在 S3 上。

这使其成为一种从外部源提取、传输和加载数据到 S3 的相对简单的方法（例如，如果您想将其用于 AWS 中的其他服务）。

使用 Athena 联合查询，不再需要构建复杂的 ETL 工作流。 只需查询您的外部数据源，数据就在 S3 中。

Answer 2

Athena 支持其他来源。 Amazon 提供了这些数据源连接器的列表，并附有详细说明如何实现每个连接器的文档。

值得一提的是，如果您希望 Athena 能够通过 Internet 高效/安全地传输数据，则会挑战这一点。

Answer 3

不需要将数据传输到 S3。 例如，您可以使用 Lambda 连接器直接查询 DynamoDB 中的数据，该连接器可以从 AWS 中使用。

这里值得一提的是 Athena 超时时间为 30 分钟，但如果您要使用一些使用 Lambda 的连接器，请记住 Lambda 的最大超时时间为 15 分钟。