如何以流模式將數據從 AWS RDS 加載到 Google BigQuery？

Question

如何以流模式將數據從 AWS RDS 加載到 Google BigQuery？ 描述：我在 RDS (SQL Server) 中有數據，並且想將這些數據實時加載到 Google BigQuery 中。

Answer 1

沒有直接的方法可以將更改從 Amazon RDS 插入到 Google Cloud BigQuery。 可以用這樣的管道來完成

Amazon RDS ----Lambda/DMS----> Kinesis Data Streams -----Lambda----> BigQuery

1. 使用Lambda或使用Cloud DMS讀取從 Amazon RDS 到 Kinesis Data Streams 的更改。 您還可以將其推送到 Kinesis Firehose 以聚合/批處理記錄。
2. 使用 Lambda 從 Kinesis 流/Firehose 讀取並使用tabledata.insertAll （BQ 流 API）插入 BigQuery。 代碼將與此類似。

Answer 2

您可以使用Cloud Storage Transfer Service來管理和安排加載作業到 BigQuery。 這是此用例的推薦遷移方法。 首先，您需要將數據從 AWS RDS 加載到 CSV 文件，然后將其移動到 S3。 Amazon S3傳輸是一個兩步過程：

1. Transfer Service 用於將數據從 S3 帶入 GCS。
2. BQ 加載作業用於將數據加載到 BigQuery。

我發現的另一個有趣的解決方案是使用 AWS Data Pipeline 從 MySQL 導出數據並將其提供給 BigQuery。

此外，您可以使用與 Amazon RDS 和 BigQuery 集成的 ETL 工具之一（請參閱此處）將數據傳輸到 BigQuery。 最好的之一是Fivetran 。

我希望它能幫助你。