将数据从 Amazon Aurora 同步到 Redshift

Question

我正在尝试在 AWS Aurora 和 Redshift 之间设置同步。 实现这种同步的最佳方法是什么？

可能的同步方式可以是：-

1. 查询表以查找表中的更改（因为我只进行插入，更新无关紧要），将这些更改导出到 S3 存储桶中的平面文件并使用 Redshift 复制命令插入到 Redshift 中。

2. 使用python 发布者和 Boto3 将更改发布到 Kinesis stream，然后在 Firehose 中使用这个 stream，我可以从那里直接复制到 Redshift。

3. 使用 Kinesis Agent 检测 binlog 中的更改（是否可以使用 Kinesis Agent 检测 int binlog 中的更改）并将其发布到 Firehose，然后从那里复制到 Firehose。

我还没有探索 AWS Datapipeline。

Answer 1

正如@Mark B 所指出的， AWS Database Migration Service可以在数据库之间迁移数据。 这可以作为一次性练习完成，也可以连续运行，保持两个数据库同步。

文档显示Amazon Aurora 可以是源，而Amazon Redshift 可以是目标。

Answer 2

您还可以使用联合查询： https : //docs.aws.amazon.com/redshift/latest/dg/federated-overview.html

Answer 3

AWS 刚刚宣布了这项新功能： Amazon Aurora 与 Amazon Redshift 的零 ETL 集成

这在本地提供了从 Aurora 到 Redshift 的近实时（秒）同步。