扫描表并在 AWS 上为 10M 用户运行更新脚本

Question

我正在使用包含超过 1000 万用户的AWS Dynamodb数据库，我们在处理某些事件时出错，并且我们确实以错误的方式保存了一些记录。

我创建了一个脚本，通过 250 个批量扫描表来执行更新作业，我在本地运行它可以工作，并且需要 4 天才能完成孔数据库，我遇到了AWS session 的一些问题，每次登录注销时再次运行脚本在完成之前，我还会跟踪另一个表中的记录，所以当我重新启动脚本时，它会从该记录开始，而不是从头开始。

每个人都很高兴这项工作完成了，但这不是我来这里的原因，所以我的QUESTION ：

使用aws服务的解决方案是什么，我可以在下次发生这种情况时构建它以使其faster而不是在本地运行。

欢迎任何模式设计/解释/建议。

Answer 1

建筑学

AWS Lambda 能够在功能上实现无限的水平扩展。 Lambda 最多可以执行 15 分钟，因此您只需为 lambda 提供适量的工作，以便它可以在配置的超时时间内完成。 在这个 model 中，您已经有 250 个批处理大小，因此您可能只需要几秒钟而不是 15 分钟来执行批处理。

接下来是一个问题，告诉您的 lambda 它的工作是什么部分。 SQS 在这里是一个很好的解决方案 - 您可以为每批工作推送一条 SQS 消息，并让 AWS 为每条消息自动调用您的 lambda。

您还必须扩展您的 dynamo 数据库集群，以便能够跟上这些 lambda 能够生成的大量读写操作，而不会影响生产。 您可以首先将 lambda 限制在较低的音量并增加 lambda function 的允许并发性，同时监控生产 SLI 以确保不会造成任何影响。

这种系统的成本相当低。 10M/250 = 40000 批； 如果每个批次都是一条消息并且是一个 lambda 调用，则需要 40000 次调用，并且至少 40000 次写入、40000 次读取和 40000 次 sqs 删除（在失败的情况下，消息将返回队列进行重新处理，这非常适合您的情况，因为该操作听起来是幂等的）。 If you're not using lambda or SQS for anything else, this should fit comfortably within the free tier of lambda/sqs (1M sqs operations; 1M lambda invokes; 400k GB/s of lambda runtime) unless your batch updates take more than 10每个秒。 或需要超过 1GB 的 memory。 基于 4 天/40000 个批次，听起来您的批次运行时间不到 9 秒。

语

当您水平缩放时，这并不重要。 但还是值得思考的。 有些语言比其他语言快得多，当必须执行 40,000 批操作时，它会产生很大的不同。 最慢的是使用对aws cli 的重复调用——每个调用都需要实例化整个 python 运行时，这有相当多的开销。 Faster 是在 python 等解释语言的一个进程中运行所有批次，因为至少那时您不必启动 40,000 个进程而产生开销。 但是您仍然需要在 python 层和 C 层之间转换所有数据的开销。 对于一项操作，这种开销几乎不会引起注意； 对于 40,000 个请求，开销可能很大。 我假设诸如 Java 之类的性能更高的语言将提供类似的性能改进。 根据经验，我可以说 Go 的 AWS 开发工具包的性能将大大优于 Python，并且可以很好地并行启动。

Answer 2

AWS glue可能是处理数据的好选择 ( https://docs.aws.amazon.com/glue/latest/dg/add-job.html )

您可以从 dynamoDB（ https://docs.aws.amazon.com/prescriptive-guidance/latest/dynamodb-full-table-copy-options/aws-glue.html ）加载数据并使用 jupyter notebook一些非常简单的 python 代码来处理数据。

您甚至可以使用aws glue databrew ，它是一个可视化界面，让您无需真正了解编程语言即可处理数据 ( https://aws.amazon.com/glue/features/databrew/ )