將數據從 Amazon Aurora 同步到 Redshift

Question

我正在嘗試在 AWS Aurora 和 Redshift 之間設置同步。 實現這種同步的最佳方法是什么？

可能的同步方式可以是：-

1. 查詢表以查找表中的更改（因為我只進行插入，更新無關緊要），將這些更改導出到 S3 存儲桶中的平面文件並使用 Redshift 復制命令插入到 Redshift 中。

2. 使用python 發布者和 Boto3 將更改發布到 Kinesis stream，然后在 Firehose 中使用這個 stream，我可以從那里直接復制到 Redshift。

3. 使用 Kinesis Agent 檢測 binlog 中的更改（是否可以使用 Kinesis Agent 檢測 int binlog 中的更改）並將其發布到 Firehose，然后從那里復制到 Firehose。

我還沒有探索 AWS Datapipeline。

Answer 1

正如@Mark B 所指出的， AWS Database Migration Service可以在數據庫之間遷移數據。 這可以作為一次性練習完成，也可以連續運行，保持兩個數據庫同步。

文檔顯示Amazon Aurora 可以是源，而Amazon Redshift 可以是目標。

Answer 2

您還可以使用聯合查詢： https : //docs.aws.amazon.com/redshift/latest/dg/federated-overview.html

Answer 3

AWS 剛剛宣布了這項新功能： Amazon Aurora 與 Amazon Redshift 的零 ETL 集成

這在本地提供了從 Aurora 到 Redshift 的近實時（秒）同步。