AWS Athena 附帶 Athena 聯合查詢

Question

我正在瀏覽AWS Athena 聯合查詢頁面並了解到“您可以使用 Athena 聯合查詢（預覽版）來查詢數據或構建從多個數據源中提取數據並將其存儲在 Amazon S3 中的管道。”

如果我在 AWS 賬戶之外有大量數據，我還需要將數據傳輸到 S3，以便我可以在 Athena 中使用它嗎？

請各位大俠分享一下經驗？ 謝謝

Answer 1

如果我在 AWS 賬戶之外有大量數據，我還需要將數據傳輸到 S3，以便我可以在 Athena 中使用它嗎？

不，您無需將數據傳輸到 S3 即可使用 Athena Federated Query 進行查詢。 您可以連接外部資源並查詢它們。 但是，您查詢的結果將始終保存在 S3 上。

這使其成為一種從外部源提取、傳輸和加載數據到 S3 的相對簡單的方法（例如，如果您想將其用於 AWS 中的其他服務）。

使用 Athena 聯合查詢，不再需要構建復雜的 ETL 工作流。 只需查詢您的外部數據源，數據就在 S3 中。

Answer 2

Athena 支持其他來源。 Amazon 提供了這些數據源連接器的列表，並附有詳細說明如何實現每個連接器的文檔。

值得一提的是，如果您希望 Athena 能夠通過 Internet 高效/安全地傳輸數據，則會挑戰這一點。

Answer 3

不需要將數據傳輸到 S3。 例如，您可以使用 Lambda 連接器直接查詢 DynamoDB 中的數據，該連接器可以從 AWS 中使用。

這里值得一提的是 Athena 超時時間為 30 分鍾，但如果您要使用一些使用 Lambda 的連接器，請記住 Lambda 的最大超時時間為 15 分鍾。