Google PubSub 到 Kafka 源连接器

Question

我有 1 个发布/订阅主题和 1 个订阅。 我正在探索GCP PubSub Kafka 连接器。

有 2 个 Kafka 实例在 2 个区域运行。 是否可以在两个区域都使用 Kafka 连接器，从 Pub/Sub 中的相同公共订阅中获取消息？

我想找出一种将消息从 pub/sub 移动到多个 kafka 实例的方法。 （说循环赛）

Answer 1

如果您希望两个 Kafka 实例都接收到所有消息，那么您将需要在该主题上创建第二个订阅。 如果您希望每个 Kafka 实例接收消息的子集，那么您可以使用相同的订阅设置两个 CPS Kafka 源连接器实例。