为什么Google pubsub java8客户端即使在确认后仍收到重复消息？

Question

我们正在使用google-cloud-pubsub（0.24.0-beta）pull客户端读取订阅者的邮件，并发现其中的重复率很高。 Google文档说，预计不会重复，但就我们而言，即使确认后，我们仍看到80％的邮件被重复。

最奇怪的部分是，即使我们使用consumer.ack（）在接收方中立即确认了该消息，仍在重复。 有谁知道该如何处理。

Answer 1

流控制设置设置得太高或太低，可能导致大量消息重复。 如果您的流量控制设置太高（允许同时向客户端发送太多消息），则可能是因为设置了太迟了。 如果这是原因，您可能会看到计算机的CPU达到或接近100％。 在这种情况下，请尝试将未完成消息或字节的最大数目设置为较小的数目。

流控制设置可能设置得太低。 某些消息在传递到MessageReceiver之前会先在客户端中进行缓冲，尤其是在流控制的情况下。 在这种情况下，邮件在传递之前可能会花太多时间在客户端中进行缓冲。 这种状态的消息存在问题，该问题已在未解决的PR中修复。 在这种情况下，您可以增加未完成的最大字节数或消息数（达到订户实际可以处理的最大数目），也可以尝试将AckExpirationPadding设置为大于默认值500ms的值。

还值得检查您的发布者，以查看它是否多次意外发布消息。 在这种情况下，您可能会看到邮件的内容相同，但是它们不是Google Cloud Pub / Sub本身生成的重复邮件。

编辑提到客户端库中的错误：

如果您在v0.22.0和v0.29.0之间使用的是google-cloud-pubsub版本，则可能会遇到一个问题，即获取消息的基本机制发生更改可能会导致重复项过多 。 此问题已得到解决。