[英]AWS SQS Java. Not all messages are retrieved from the SQS queue
我一直在尝试使用AWS SDK for Java从SQS队列中检索所有消息的几种方法无济于事。 我已经了解了AWS SQS的分布式特性,并且消息存储在不同的服务器上。 但我不明白为什么这个架构不会被最终用户隐藏。 我需要在Java代码中应用哪些技巧来检索所有消息,并且100%确定没有人错过?
我试着用“长轮询” :
ReceiveMessageRequest receiveMessageRequest = new ReceiveMessageRequest(myQueueUrl);
List<Message> messages = sqs.receiveMessage(receiveMessageRequest).getMessages();
for (Message message : messages) {
System.out.println(" Message");
System.out.println(" MessageId: " + message.getMessageId());
System.out.println(" ReceiptHandle: " + message.getReceiptHandle());
System.out.println(" MD5OfBody: " + message.getMD5OfBody());
System.out.println(" Body: " + message.getBody());
for (Entry<String, String> entry : message.getAttributes().entrySet()) {
System.out.println(" Attribute");
System.out.println(" Name: " + entry.getKey());
System.out.println(" Value: " + entry.getValue());
}
}
System.out.println();
这与请求批处理/客户端缓冲:
// Create the basic Amazon SQS async client
AmazonSQSAsync sqsAsync = new AmazonSQSAsyncClient();
// Create the buffered client
AmazonSQSAsync bufferedSqs = new AmazonSQSBufferedAsyncClient(sqsAsync);
CreateQueueRequest createRequest = new CreateQueueRequest().withQueueName("MyTestQueue");
CreateQueueResult res = bufferedSqs.createQueue(createRequest);
SendMessageRequest request = new SendMessageRequest();
String body = "test message_" + System.currentTimeMillis();
request.setMessageBody( body );
request.setQueueUrl(res.getQueueUrl());
SendMessageResult sendResult = bufferedSqs.sendMessage(request);
ReceiveMessageRequest receiveRq = new ReceiveMessageRequest()
.withMaxNumberOfMessages(10)
.withQueueUrl(queueUrl);
ReceiveMessageResult rx = bufferedSqs.receiveMessage(receiveRq);
List<Message> messages = rx.getMessages();
for (Message message : messages) {
System.out.println(" Message");
System.out.println(" MessageId: " + message.getMessageId());
System.out.println(" ReceiptHandle: " + message.getReceiptHandle());
System.out.println(" MD5OfBody: " + message.getMD5OfBody());
System.out.println(" Body: " + message.getBody());
for (Entry<String, String> entry : message.getAttributes().entrySet()) {
System.out.println(" Attribute");
System.out.println(" Name: " + entry.getKey());
System.out.println(" Value: " + entry.getValue());
}
}
但我仍然无法检索所有消息。
任何想法?
AWS论坛对我的帖子保持沉默。
从SQS队列接收消息时,需要重复调用sqs:ReceiveMessage
。
在每次调用sqs:ReceiveMessage
,您将从队列中获得0个或更多消息,您需要迭代这些消息。 对于每条消息,您还需要调用sqs:DeleteMessage
,以便在处理sqs:DeleteMessage
消息后从队列中删除消息。
在上面的“长轮询”示例周围添加一个循环以接收所有消息。
for (;;) {
ReceiveMessageRequest receiveMessageRequest = new ReceiveMessageRequest(myQueueUrl);
List<Message> messages = sqs.receiveMessage(receiveMessageRequest).getMessages();
for (Message message : messages) {
System.out.println(" Message");
System.out.println(" MessageId: " + message.getMessageId());
System.out.println(" ReceiptHandle: " + message.getReceiptHandle());
System.out.println(" MD5OfBody: " + message.getMD5OfBody());
System.out.println(" Body: " + message.getBody());
for (Entry<String, String> entry : message.getAttributes().entrySet()) {
System.out.println(" Attribute");
System.out.println(" Name: " + entry.getKey());
System.out.println(" Value: " + entry.getValue());
}
}
System.out.println();
}
另请注意,您可能会多次收到相同的消息。 因此,允许您的工作“重新处理”相同的消息,或检测重复的消息。
我也面临同样的问题 - 只有一条消息被返回,然后我尝试了receiveMessageRequest.setMaxNumberOfMessages(10),这将帮助我在一个循环中检索10条消息,
因为我的队列有> 500条记录,我所做的就是
List<String> messagelist = new ArrayList<>();
try
{
AmazonSQS sqs = new AmazonSQSClient(credentials);
Region usWest2 = Region.getRegion(Regions.US_WEST_2);
sqs.setRegion(usWest2);
boolean flag = true;
while(flag)
{
ReceiveMessageRequest receiveMessageRequest = new ReceiveMessageRequest(queuename);
receiveMessageRequest.setMaxNumberOfMessages(number_of_message_);
receiveMessageRequest.withMaxNumberOfMessages(number_of_message_).withWaitTimeSeconds(wait_time_second_);
List<Message> messages = sqs.receiveMessage(receiveMessageRequest).getMessages();
for (Message message : messages)
{
// System.out.println(" Body: " + message.getBody());
messagelist.add( message.getBody());
String messageReceiptHandle = message.getReceiptHandle();
sqs.deleteMessage(new DeleteMessageRequest().withQueueUrl(queuename).withReceiptHandle(messageReceiptHandle));
}
if(messages.size()==0)
{
flag = false;
}
}
}
catch (AmazonServiceException ase) {
ase.printStackTrace();
} catch (AmazonClientException ace) {
ace.printStackTrace();
}
finally {
return messagelist ;
}
我正在从SQS读取记录,然后将其保存到String列表中,然后从队列中删除记录。
所以最后我将列表中的队列中的所有数据
如果队列中没有消息,则长轮询将等待。 这意味着如果您使用循环中的长轮询调用ReceiveMessage,则可以保证您将获得所有消息。 当响应中收到0条消息时,您已收到所有消息。
您提到您还使用了Web控制台。 Web控制台的工作方式与使用SDK调用API的方式相同。 这意味着当您在控制台中接收和查看消息时,消息对其他客户端是不可见的,直到可见性超时到期为止。 这可能是你没有看到消息的原因。
查看有关可见性超时的更多信息
http://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/AboutVT.html
SQS队列不是数据库。 您无法将所有消息读入列表中,就像您尝试做的那样。 队列没有开始也没有结束。 您轮询队列并询问一些消息,它会返回一些消息(如果存在)。
如果你想要一个可以返回整个数据集的方法,那么sqs就不是正确的工具 - 在这种情况下,传统的数据库可能会更好。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.