AWS MySQL至GCP BigQuery数据迁移

Question

我正在计划从AWS MySQL实例到GCP BigQuery的数据迁移。 我不想迁移每个MySQL数据库，因为最后我想使用BigQuery创建一个数据仓库。

将AWS MySQL DB作为csv / json / avro导出到S3存储桶，然后转移到GCP存储桶是否是一个好选择？ 此数据管道的最佳做法是什么？

Answer 1

如果这是从MySQL到MySQL的迁移； 还有其他可能的选择。 但是在这种情况下，您提到的选项是完美的..另外，请记住，您的MySQL数据库将不断更新..因此，您的目标数据库可能会丢失一些记录..，因为它不是实时数据库传输。

Answer 2

您的导出到S3文件的建议应该可以正常工作，导出文件可以利用AWS Database Migration Service。

使用该服务，您可以一次性导出到S3，也可以使用Change Data Capture进行增量导出。 不幸的是，由于BigQuery并不是真正为处理表中的更改而设计的，因此实现CDC可能会比较麻烦（尽管完全可行）。 您需要考虑跨提供程序传输数据的成本。

另一个对您来说更容易的选择是使用相同的AWS Database Migration Service 将数据直接移动到Amazon Redshift 。

在这种情况下，您将自动捕获更改数据，因此您无需担心任何事情。 RedShift是构建数据仓库的绝佳工具。

如果您出于某种原因不想使用RedShift，并且希望使用完全无服务器的解决方案，则可以轻松地使用AWS Glue Catalog从数据库中读取并导出到AWS Athena。

基于AWS的解决方案的妙处在于，所有内容都紧密集成在一起，您可以使用相同的帐户/用户进行计费，IAM，监控...，并且由于您在单个提供商内移动数据，因此无需支付任何额外的网络费用，无延迟，并可能减少安全性问题。