將數據從Google數據存儲（GAE）遷移到Google Cloud SQL

Question

我正在為我的應用程序使用Google數據存儲，現在出於報告目的，我想將數據從GAE數據存儲遷移到Google Cloud SQL。

我有什么選擇？ （我有超過100k的條目，而在遞延的工作中花費很多時間）。

Answer 1

閱讀您的問題，似乎您遇到了兩部分的問題：1）將過去的所有數據一次性導出到Cloud SQL，2）設置某種定期的ETL流程以使兩個數據庫保持同步。

對於一次性轉儲，基於閱讀文檔，似乎您可以在此處選擇以下幾種方法：

1. 使用Bulkloader將所有數據導出到CSV，然后將其加載到本地MySQL實例中，生成mysqldump並按照本教程將其加載到Cloud SQL中，或創建將連接到Cloud SQL實例並加載一次記錄一次交易。
2. 在您的應用程序內以編程方式創建一個流程，以發布任務以將給定的數據寫入Cloud SQL實例，並發布一個單獨的工作程序，該工作程序將連接到Cloud SQL db並寫入數據。

就個人而言，我將使用bulkloader / local mysql / mysqldump路由，因為您沒有在主應用程序中添加任何丟棄的代碼。 如果有任何問題，您可以清除Cloud SQL實例並重新啟動。

對於ETL，我建議您選擇一種任務隊列路由，因為您將能夠接近實時，但能夠通過限制隊列執行速度來控制成本。

編輯：這篇文章可能很有趣-涵蓋了從GAE到另一個DB的數據遷移： http ://www-cs-students.stanford.edu/~silver/gae.html（有意義的內容是在大聲部分之后...）