大蟒蛇字典。 存储，加载和写入它

Question

我有一个大的python字典值（大约50 GB），我已将其存储为JSON文件。 在打开文件和写入文件时，我遇到了效率问题。 我知道你可以使用ijson有效地读取文件，但是如何有效地写入文件呢？

我是否应该使用Python字典来存储我的数据？ python字典的大小有限吗？ （字典会变大）。

数据基本上存储大图中节点之间的路径长度。 我无法将数据存储为图形，因为在两个节点之间搜索连接需要的时间太长。

任何帮助将非常感激。 谢谢！

Answer 1

虽然它将真正依赖于您要对网络数据集执行的操作，但您可能需要考虑将其存储为pandas Dataframe，然后使用Parquet或Arrow将其写入磁盘。

然后可以将该数据加载到networkx甚至Spark（GraphX）以进行任何网络相关操作。

Parquet是压缩和柱状的，可以更快地读取和写入文件，特别是对于大型数据集。

从熊猫文件：

Apache Parquet为数据帧提供分区二进制列式序列化。 它旨在使读取和写入数据帧变得高效，并使数据分析语言之间的数据共享变得容易。 Parquet可以使用各种压缩技术尽可能地缩小文件大小，同时仍保持良好的读取性能。

Parquet旨在忠实地序列化和反序列化DataFrame，支持所有的pandas dtypes，包括扩展dtypes，例如datez with tz。

进一步阅读： 熊猫实木复合地板

Answer 2

尝试将它与熊猫一起使用： https ： //pandas.pydata.org/pandas-docs/stable/generated/pandas.read_json.html

pandas.read_json(path_or_buf=None, orient=None, typ='frame', dtype=True, convert_axes=True, convert_dates=True, keep_default_dates=True, numpy=False, precise_float=False, date_unit=None, encoding=None, lines=False, chunksize=None, compression='infer')
Convert a JSON string to pandas object

它非常轻巧，有用的库可以处理大数据