從 GCP Pub Sub 發布到本地 Kafka

Question

我需要將消息從 Google Pub/Sub 主題發布到在我的本地基礎架構上運行的 Kafka。 我偶然發現了這個鏈接。

https://docs.confluent.io/current/connect/kafka-connect-gcp-pubsub/index.html

這應該有效。 想知道您是否使用任何其他替代解決方案來實現這一目標？

Answer 1

如果您需要集成PubSub和Kafka我建議您為此創建一個腳本。 例如，在Python ，我們有PubSub和Kafka 的庫

基於此，您可以或多或少地創建一個腳本，並在某些處理資源（如Compute Engine）或您的本地服務器中運行它：

from google.cloud import pubsub_v1
from kafka import KafkaProducer


def callback(message):
     print(message.data)
     producer.send('<your-topic>', message.data)
     message.ack()


producer = KafkaProducer(bootstrap_servers='localhost:1234')  //Change it for your real parameter

subscription_name = "projects/<your-project>/subscriptions/<your-subscription>"
subscriber = pubsub_v1.SubscriberClient()

future = subscriber.subscribe(subscription_name, callback)