Nodejs 跟踪循环

Question

所以我有这个用例： -

我有大约 15,000 个项目，每个项目都是来自不同数据库表的 id，我需要在查询 id 后将这些添加到新的 DynamoDB 数据库表中。

我正在创建一个包含 15,000 个 id 的数组，我的 nodejs 后端将遍历每个 id 并执行查询这些 id、获取数据/保存和所有这些好东西的工作，但问题是，处理单个循环可以从任何地方进行1 分钟 - 1 小时，因为它必须处理许多其他模块并等待许多承诺。

我想跟踪导入了多少个 id 以及剩下多少个。 请有人给我一些工具/提示来跟踪 foreach 循环，我有可用的 aws 生态系统，是否有任何可用于此用例的 aws 服务。 我有一些想法，比如在每次执行结束时，调用一个端点并发送它刚刚完成处理的 id，但我认为有一种系统的方法可以做到这一点，我很确定很多人都有类似的用例，是怎么做到的你们解决它？ 任何建议将不胜感激。

Answer 1

您可以在 Dynamo 表中插入一条记录，其中包含等待处理的初始记录数。 每当处理记录时，您都可以减少计数。 这样就可以清楚地显示排队等候的记录。

如果您对 ID 本身感兴趣，您可以将所有 ID 插入到同一个 Dynamo 表中，分区键是一个常量字符串。 这样，查询密钥将为您提供所有等待处理的密钥