定期将查询结果从 Redshift 移动到 S3 存储桶

Question

我的数据在 Redshift 集群的一个表中。 我想定期对 Redshift 表运行查询并将结果存储在 S3 存储桶中。

我将对 S3 存储桶中的这些数据运行一些数据转换，以提供给另一个系统。 根据 AWS 文档，我可以使用UNLOAD命令，但是有没有办法定期安排它？ 我已经搜索了很多，但我没有找到任何相关的信息。

Answer 1

您可以使用Airflow 之类的调度工具来完成此任务。 Airflow 无缝连接到 Redshift 和 S3。 您可以使用 DAG 操作，它会定期轮询 Redshift 并将数据从 Redshift 卸载到 S3。

Answer 2

我不相信 Redshift 有能力定期安排查询。 为此，您需要使用其他服务。 您可以使用 Lambda 函数，也可以在 EC2 实例上安排 cron 作业。

Answer 3

我相信您正在寻找 AWS 数据管道服务。

您可以使用 RedshiftCopyActivity ( http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html ) 将数据从 redshift 复制到 s3。

我正在复制上述 URL 中的相关内容以备将来使用：

"您还可以使用 RedshiftCopyActivity 从 Amazon Redshift 复制到 Amazon S3。有关更多信息，请参阅 S3DataNode。您可以使用 SqlActivity 对加载到 Amazon Redshift 中的数据执行 SQL 查询。 "

如果这有帮助，请告诉我。

Answer 4

您应该尝试 AWS Data Pipelines。 您可以安排它们定期或按需运行。 我相信它会解决您的用例