將BIG MySQL表導出為JSON

Question

我有一個280萬條記錄的mysql表，我想將所有這些都轉換為JSON。 我寫了一個腳本進行轉換，但是由於出現內存警告而停止了。

然后我嘗試創建較小的文件（file1為0，至100000條記錄，文件2為100000至1000000條記錄等），並與Windows copy命令結合。 它可以工作，但是每個文件都是一個JSON數組（例如[{......]），合並后會變成單獨的部分，例如[{}] [{}]（我希望在其中像[{.... ............}]）

有更好的解決方案嗎？

Answer 1

我建議您在php.ini配置中更改“ memory_limit”。 另外，如果這需要花費很多時間，那么您可以通過cron作業處理（如果可能）

要么

您可以解碼所有json文件並將其合並為一個數組，然后再次以json編碼並放入json文件。

Answer 2

最后，我做到了。 請查看步驟（我不確定這是正確的步驟，但是可以）。

總計，我的表中有260萬條記錄。 我創建了一個腳本，該腳本將選擇mysql行，轉換為json並寫入文件。

從0到1百萬中選擇記錄並創建文件1。對file2和file 3重復1到2百萬和2到260萬。

使用JQ（ http://stedolan.github.io/jq/ ）組合這些文件，並創建一個JSON文件。