"多个工作人员到同一队列消息"

Question

我的任务是尽快将密钥（S3 对象）从一个 S3 帐户迁移到另一个 S3 帐户。 我想在单个队列中发布密钥，但希望多个工作人员（在不同的 EC2 实例上运行）以并行方式使用来自同一队列的密钥。

假设我在队列中连续发布 1000 个密钥，并且有 5 个工作人员正在使用队列中的密钥。 我希望每个不同的工作人员和所有进程键并行选择每 1000 个。

我不知道该怎么做并区分哪个工人已经选择了钥匙，而哪个工人还没有选择。

Answer 1

您应该创建：

• Amazon SQS 队列<\/strong><\/li>
• 一个AWS Lambda 函数<\/strong>，配置为在将消息发送到 SQS 队列时触发，并将处理消息中提到的键<\/li>
• 将密钥作为消息“推送”到 SQS 队列中的东西<\/li><\/ul>

  当消息可用时，Amazon SQS 队列将自动触发 AWS Lambda 函数。 它最多可以向每个被调用的 Lambda 函数传递 10 条消息，默认情况下最多有 1000 个并发运行的 Lambda 函数。

  每个“消息”可以包含一个键或多个键——这由您决定。 Lambda 函数只需要知道如何处理您发送的消息。

  Lambda 函数将接收event['Records']<\/code>列表（数组）中的消息。 它应该处理这些消息，然后退出该函数。 这将导致这些消息从队列中删除。 如果函数没有成功退出（例如，如果产生了错误），消息将自动重新出现在队列中以进行重新处理。

Answer 2

如果您在 Amazon EC2 实例上运行工作程序，则每个工作程序应执行以下操作：

• 永远循环，执行以下步骤：
  使用WaitTimeSeconds = 20<\/code>调用receiveMessage()<\/code> - 这将等待最多 20 秒，然后返回一个空响应，这减少了工作人员调用队列的次数<\/li>
  • 遍历返回的Messages<\/code>数组<\/li>
  • 对于数组中的每条消息，处理消息，然后调用deleteMessage()<\/code> ，传递消息的ReceiptHandle<\/code><\/li><\/ul><\/li><\/ul>

    每个工作人员每个ReceiveMessage()<\/code>调用最多可以请求 10 条消息。

    在消息中放入什么内容取决于您——它可能是单个键，也可能是多个键。 您应该对您的工作人员进行编码以了解如何解释消息。

    因此，如果您要求每个工作人员获得 1000 个密钥，您应该在一条消息中发送 1000 个密钥，并配置每个工作人员在调用receiveMessage()<\/code>时使用MaxNumberOfMessages = 1<\/code> 。 但是，我建议您使用较小的数量来更均匀地分配工作人员之间的工作。