在python中快速制作一個大的json文件

Question

我有一個大約 5 GB 的多 json 文件，我在其中進行了一些探索性數據分析。 問題是每次我加載文件時，使用此代碼時加載它大約需要 1 分鍾：

with open(json_fn, 'r') as f:   # multiple jsons in one file! (one per line)
   for line in f:
       data = json.loads(line)

有沒有更有效的方法來存儲這些數據以在 python 中加載它？ 我在考慮泡菜（因為它是一種二進制格式，通常速度更快）但它似乎更慢。 有什么建議可以用來避免每次等待 1 分鍾嗎？

Answer 1

ijson ，您可以使用ijson 。 ijson 允許將文件作為流懶惰地讀取。

import ijson

json_data = ijson.parse(open(FILE_PATH, 'r'))

for prefix, event, value in json_data:
    print(value)

參考這個。

注意：在這篇 文章中提到的后端的幫助下，您可以大大提高性能。