Google Cloud Spanner 通過 Cloud Data Fusion 或其他方式實時更改數據捕獲到 PubSub/Kafka

Question

我想為我的下游實時應用程序實現從 Google Cloud Spanner 到 PubSub/Kafka 的實時更改數據捕獲（基於日志的首選）管道。 您能否讓我知道是否有一種偉大且具有成本效益的方法來實現這一目標？ 我將不勝感激任何意見和建議。

另外，對於google的Cloud Data Fusion，我注意到它可以實現從mysql/postgresql到cloud spanner的實時，但是我沒有找到從cloud spanner到pubsub/kafka實時的方式go。

另外，我發現了另外兩種方法，在這里列出以供任何意見或建議。

1. 使用 Debezium，這是一個基於日志的更改數據捕獲 Kafka 連接器，來自鏈接https://cloud.google.com/architecture/capturing-change-logs-with-debezium#deploying_debezium_on_gke_on_google_cloud
2. 創建一個輪詢服務（可能會丟失一些數據）以從以下鏈接輪詢來自雲扳手的數據： https://cloud.google.com/architecture/deploying-event-sourced-systems-with-cloud-spanner

如果您對此有任何建議或意見，我將不勝感激。

Answer 1

Cloud Spanner 有一個輪詢服務的開源實現，它還可以在此處自動將更改推送到 PubSub：https://github.com/cloudspannerecosystem/spanner-change-watcher

然而，它不是基於日志的。 它有一些固有的局限性：

• 如果同一記錄在輪詢間隔內更新兩次，它可能會錯過更新。 在這種情況下，只會報告最后一個值。
• 它只支持軟刪除。

您可以查看示例，看看它是否至少在某種程度上適合您的需求： https://github.com/cloudspannerecosystem/spanner-change-watcher/tree/master/samples

Answer 2

Cloud Spanner 有一個名為Change Streams的新功能，允許構建從 Spanner 到 PubSub/Kafka 的下游管道。

目前，沒有預打包的 Spanner 到 PubSub/Kafka 連接器。

當前讀取更改流的方法是使用 SpannerIO Apache Beam 連接器，該連接器允許使用 Dataflow 構建管道，或者直接查詢 API。

免責聲明：我是與 Cloud Spanner 團隊合作的開發人員倡導者。