简体   繁体   English

DynamoDB 流到 S3

[英]DynamoDB Streams to S3

I am using Data Pipeline (DP) for daily backups of DynamoDB, however, I would like to do incremental backups of the data that is missed by DP runs (updates between DP runs).我正在使用数据管道 (DP) 进行 DynamoDB 的日常备份,但是,我想对 DP 运行(DP 运行之间的更新)遗漏的数据进行增量备份。 To accomplish that, I would like to use DynamoDB Streams + Lambda + S3 to bring real-time DynamoDB updates to S3.为此,我想使用 DynamoDB Streams + Lambda + S3 为 S3 带来实时 DynamoDB 更新。 I understand how DynamoDB streams work, however, I am struggling with creating a Lambda function that writes to S3 and say rolls a file every hour.我了解 DynamoDB 流的工作原理,但是,我正在努力创建一个写入 S3 并说每小时滚动一个文件的 Lambda 函数。

Has anyone tried it?有没有人试过?

Its an hour job dude,What you need to do is这是一个小时的工作伙计,你需要做的是

  1. Enable Dynamo DB update Stream and attach aws provided lambda function https://github.com/awslabs/lambda-streams-to-firehose启用 Dynamo DB 更新流并附加 aws 提供的 lambda 函数https://github.com/awslabs/lambda-streams-to-firehose
  2. Enable Firehose stream and use above function to stream outs records in firehose.启用 Firehose 流并使用上述功能在 firehose 中输出记录。
  3. Configure Firehose to dump the records to S3.配置 Firehose 以将记录转储到 S3。

done.完毕。

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM