AWS 数据管道 DynamoDB 到 S3 503 减速错误

Question

我们有一个数据管道，它每晚将 DynamoDB 复制到 S3 存储桶，因此我们可以使用 Athena 运行数据报告。 有时，管道会因 503 SlowDown 错误而失败。 重试通常会“成功”，但会在 S3 中创建大量重复记录。 DynamoDB 具有按需读取容量，管道具有 0.5 myDDBReadThroughputRatio。 这里有几个问题：

1. 我假设减少 myDDBReadThroughputRatio 可能会减轻问题，如果为真，是否有人具有良好的比率，仍然可以执行但不会导致这些错误？

2. 有没有办法防止 S3 中的重复记录？ 我无法弄清楚为什么会生成这些？ （可能未删除失败运行的记录？）

当然，对于该问题的任何其他想法/解决方案将不胜感激。

谢谢！

Answer 1

不建议使用 AWS Data Pipeline 进行连续备份。

AWS 最近推出了一项新功能，允许您将 DynamoDB 表数据导出到 S3 并由 Athena 进一步分析。 在这里查看

您也可以使用 Amazon 胶水来做同样的事情（ 链接）。

如果您仍想继续使用数据管道，那么问题似乎是由于达到 S3 限制而发生的。 您可能需要查看是否有其他请求同时写入 S3，或者您是否可以使用某些配置限制来自管道的请求速率。