在 C# 中，如何从 Azure 服务总线队列中获取所有消息？

Question

因为我需要删除重复的消息并延迟处理一些“太新”的消息（由消息的最新副本确定），所以我想一次处理服务总线队列的全部内容。

我不确定我可以期待多少条消息，但我非常乐观地认为它通常不应该是数百条，更不用说我认为可能是ReceiveAsync (int maxMessageCount, TimeSpan operationTimeout)的限制了。 然而，事实证明，无论该值有多高，我只能在一次调用中读取大约 30 到 50 条消息

        private async Task<IList<MicrosoftMessage>> Receive(IQueueConfig queueConfig) =>
                await _messageReceiverLookup.GetMessageReceiver(queueConfig.QueueName)
                    .ReceiveAsync(queueConfig.MaximumRecords, TimeSpan.FromSeconds(10));

我尝试用一些额外的逻辑来包装它，比如：

            List<MicrosoftMessage> messages = new();
            List<MicrosoftMessage> newMessages = new();
            do
            {
                newMessages = await ReceiveMessages(queueHandler, cancellationToken);
                messages.AddRange(newMessages);
            }
            while (
              newMessages.Count > 0 
              && messages.Count > 0 
              &&  messages.Count < queueHandler.QueueConfig.MaximumRecords
            );

但发现这永远不会结束，因为系统会多次读取相同的消息。

所以我尝试了这个：

          Dictionary<string, MicrosoftMessage> previosMessagesByToken;
            Dictionary<string, MicrosoftMessage> allMessagesByToken = new();
            List<MicrosoftMessage> newMessages;
            do
            {
                previosMessagesByToken = allMessagesByToken;

                newMessages = await ReceiveMessages(queueHandler, cancellationToken);
                Dictionary<string, MicrosoftMessage> newMessagesByToken = newMessages.ToDictionary(x => x.SystemProperties.LockToken, x => x);

                // Ensure we only collect each message once!
                allMessagesByToken = allMessagesByToken.Concat(newMessagesByToken.Where(kvp => !allMessagesByToken.ContainsKey(kvp.Key)))
                    .ToDictionary(kvp => kvp.Key, kvp => kvp.Value);
 }
            while (
                    newMessages.Count > 0
                    && allMessagesByToken.Count > previosMessagesByToken.Count
                    && allMessagesByToken.Count < queueHandler.QueueConfig.MaximumRecords
                );

这似乎可行，但一方面，我有一种直觉，这不应该那么复杂。 另外，我并不完全相信这一点，因为我不完全理解为什么我没有收到所有消息，也没有收到重复的消息，所以我不禁觉得这个算法可能会允许一些消息落在裂缝，是不包括在内的非重复项。

有没有更好的方法可以让我获取所有消息？

Answer 1

几个基本假设：

1. 请求的消息数不保证是传递的消息数。
2. 在PeekLock模式下接收到的消息将在某个时间点的锁定过期并被传递。

如果您的目标是耗尽所有消息，您应该完成已收到的消息或在ReceiveAndDelete模式下接收。 这样你就不会再收到相同的消息了。 如果您试图查看队列中的消息，那么您的LockDuration需要足够长以确保所有消息都已被查看。

我需要删除重复的消息并延迟处理一些“太新”的消息（由消息的最新副本确定），我想一次处理服务总线队列的全部内容。

更大的问题似乎是尝试处理队列中的消息，如数据库中的记录。 重复检测已经是 Azure 服务总线的功能。 延迟消息也是如此。 但它需要一种不同于批处理的方法。