導入50GB mysql轉儲文件

Question

我已經開始在一家每天傾銷大量數據庫的公司工作。 壓縮后的文件約為4GB，但我嘗試將其解壓縮一次，而我們正在談論的文件超過50GB。

現在，我正在嘗試創建一個從屬服務器，為了做到這一點，我需要導入最新數據。

我從未嘗試導入如此大的文件，並且四處瀏覽，我發現了顯示進度條的“ pv”命令。

我正在運行的命令是：

pv database.sql.gz | gunzip | mysql -u root -p

該過程開始，開始時似乎相當快，但是隨后開始變慢，直到達到[0KB / s]

我試了一次，花了超過15個小時。 這正常嗎？ 有人可以告訴我是否有更好的方法（也許是更快的方法）嗎？

謝謝，

Answer 1

加載表不會減慢。 建立索引可能會減慢速度。

不要先用拉鏈拉緊； 寫入和重新讀取50GB文件的I / O將消耗您可能認為會得到的任何節省。

12：1的壓縮比非常高。 聽起來您的數據類型效率低下。 典型的文本僅壓縮3：1。 數字（例如， BIGINT通常存儲一位數字值：4：1）。 讓我們看看SHOW CREATE TABLE ; 也許您有CHAR(999)持有空字符串？

是轉儲mysqldump嗎？ 是否包括禁用和重新啟用索引？

您是否正在使用UUID？ （它們索引的效率非常低。）