自动将 DynamoDB 表导出到 S3

Question

场景如下：我有一个 lambda function 执行 http 请求以获取今天和过去 365 天的数据并将它们存储在 Dynamo 中。 function 每天早上 8 点触发，因此最新数据始终保存在 DynamoDB 表中。

现在我的目标是每天自动将 DynamoDB 表导出到 S3 文件，这样我就可以在数据上使用 QuickSight、Athena、Forecast 等服务。

如果可能且易于实施，我希望只添加一个包含当天最新数据的 S3 文件，因为每天额外的文件似乎有点贵。 如果那是不可能的，每天额外的文件也可以。

go 在不使用 CLI 的情况下（因为我不允许将程序安装到我的笔记本电脑）和不使用 Lambda （因为如果没有任何教程我不知道如何编写 ZC1C425268E68384F1AB450）的最佳方法是什么？

Answer 1

看看 DataPipeline。 这是一个用例，大部分配置都很简单。

它也不需要 Lambda 的任何知识，并且可以自动化。

更多信息： https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBPipeline.html

Answer 2

DynamoDB 最近发布了一项新的原生功能，可将表的数据导出到 S3 存储桶。 它支持导出到 DynamoDB JSON 和 Amazon Ion - 请参阅有关如何使用它的文档：

https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DataExport.html

这将使您能够在 S3 中导出的数据上运行您想要的任何分析工具（Athena 等）。