如何跟踪分布式任务的进度

Question

这是我的情况：

1. 当我的服务器接收到请求时，它将触发分布式任务，在我的情况下，它将执行许多AWS lambda函数（窥视值可能是3000）
2. 我需要跟踪每个任务的进度/状态，即挂起，运行，成功，错误
3. 我的服务器可能有很多副本
4. 我仍然想知道任务进度/状态，即使我的任何服务器副本都已关闭

我目前的设计：

1. 我选择AWS S3作为我的助手
2. 当任务开始执行时，它将在S3上的特殊文件夹（例如正在运行的文件夹）中创建标记文件
3. 当任务失败或成功时，它将标记文件从运行文件夹移动到失败文件夹或成功文件夹
4. 我检查了S3上的标记文件，以检查任务的进度。

问题：

1. AWS S3并发访问有限制
2. 我的案件有一天可能会超过限额

尝试解决方案：

1. 我已尽力将请求数量减少到S3
2. 我不想通过在数据库中存储数据来跟踪进度，因为我的数据库已经负担很重。

老实说，在S3上使用标记文件来跟踪任务的进度有点奇怪。 但是，它曾经起作用。

有什么建议吗？

提前致谢 ！

Answer 1

这听起来像是持久事件队列（特别是Kinesis）的完美应用。 每个Lambda启动时，它会在Kinesis上生成一个“启动”事件。 成功或失败时，它将生成适当的事件。 如果您想查看进展情况，甚至可以沿途创建进度事件。

然后，您的服务器可以针对结束事件（成功或失败）监视开始事件的数目，直到这两个数目相等为止。 它可以查询错误事件，以查看哪些进程失败以及为什么。 所有服务器都可以查询相同事件而不会互相干扰，任何服务器都可以关闭并恢复而不会丢失数据。

确保将原始密钥放在应该组合在一起的事件上，以免它们与后续事件混淆。 另外，每个Lambda都应具有自己的密钥，以便您可以跟踪每个Lambda的进度。 向导对此非常适合。