将数据从Google数据存储（GAE）迁移到Google Cloud SQL

Question

我正在为我的应用程序使用Google数据存储，现在出于报告目的，我想将数据从GAE数据存储迁移到Google Cloud SQL。

我有什么选择？ （我有超过100k的条目，而在递延的工作中花费很多时间）。

Answer 1

阅读您的问题，似乎您遇到了两部分的问题：1）将过去的所有数据一次性导出到Cloud SQL，2）设置某种定期的ETL流程以使两个数据库保持同步。

对于一次性转储，基于阅读文档，似乎您可以在此处选择以下几种方法：

1. 使用Bulkloader将所有数据导出到CSV，然后将其加载到本地MySQL实例中，生成mysqldump并按照本教程将其加载到Cloud SQL中，或创建将连接到Cloud SQL实例并加载一次记录一次交易。
2. 在您的应用程序内以编程方式创建一个流程，以发布任务以将给定的数据写入Cloud SQL实例，并发布一个单独的工作程序，该工作程序将连接到Cloud SQL db并写入数据。

就个人而言，我将使用bulkloader / local mysql / mysqldump路由，因为您没有在主应用程序中添加任何丢弃的代码。 如果有任何问题，您可以清除Cloud SQL实例并重新启动。

对于ETL，我建议您选择一种任务队列路由，因为您将能够接近实时，但能够通过限制队列执行速度来控制成本。

编辑：这篇文章可能很有趣-涵盖了从GAE到另一个DB的数据迁移： http ://www-cs-students.stanford.edu/~silver/gae.html（有意义的内容是在大声部分之后...）