消费者如何在 Active 中设置 - Active Kafka 设置

Question

我们正在使用https://strimzi.io/blog/2020/03/30/introducing-mirrormaker2/中指定的 Mirror Maker 2.0 进行主题重命名的 Active Active Kafka 集群设置。 我相信诸如 us-email 之类的主题设置如下：

直流1

1. 我们的电子邮件
2. us-email-dc2（dc2 的镜像）

直流2

1. 我们的电子邮件
2. us-email-dc1（dc1 的镜像）

生产者可以发布到其本地 DC，并且两个集群都将包含两个 DC 的数据。 到目前为止，一切都很好。

消费者应用程序将订阅通配符主题 (us-email-*) 以读取两个 DC 的数据。 如果是这种情况，我是否设置消费者从他们各自的 DC 中读取数据？ 在这种情况下，由于镜像，将有重复的消息读取到达消息。 还是建议一次仅将单个消费者组指向单个 DC 以防止重复？ 如果是，如果单个 DC 发生故障，故障转移将如何发生？

Answer 1

两个数据中心的消费者是否必须指向单个数据中心

消费者不能从多个引导服务器列表中读取，所以是的

有手动故障转移吗？

不清楚你说的手动是什么意思。

1. 如果镜像或目标代理失败，则消费者停止读取任何内容
2. 如果源已关闭，则镜像停止，返回 (1)

两个 DC 中的消费者也将获得复制的消息

镜像不保证准确一次交付

Answer 2

自动故障转移是不可能的。 每当一个 dc 发生故障时，您必须更新使用者以手动从其他 dc 读取。 另外关于消费者偏移量，我不确定它们是否同步，它们是否允许您继续或将消费者视为新的消费者组。