Spark DataFrame 到 Google Cloud PubSub

Question

我想將數據從 Spark DataFrame 流式傳輸/批量加載到 PubSub。 我遇到了一些庫，例如：

1. Apache Bahir：僅用於從 PubSub 流式傳輸數據。 https://bahir.apache.org/docs/spark/2.2.1/spark-streaming-pubsub/
2. PubSub Lite 連接器：能夠寫入 PubSub Lite，不確定這是否適用於 PubSub。

Answer 1

您不能使用Pub/Sub Lite 連接器將消息寫入Pub/Sub 。 盡管Pub/Sub和Pub/Sub Lite都是水平scalable and managed messaging services ，但由於某些差異，它們是兩個單獨的產品。

您可以參考此文檔來檢查 Pub/Sub 和 Pub/Sub Lite 之間的差異。 從文檔：

Pub/Sub通常是大多數應用程序集成和分析用例的默認解決方案。
Pub/Sub Lite僅推薦用於以extremely low cost證明一些額外的操作工作是合理的應用程序。

對於從Spark DataFrame到Pub/Sub的流/批量加載數據，您可以使用Apache Bahir的 Pub/Sub 連接器。
您可以從 Google Cloud Platform 中找到此示例，其中使用了用於 Google Cloud Pub/Sub 的 Apache Bahir 的 Spark Streaming 連接器。