pickle和python數據結構

Question

我有一些數據存儲在內存中的樹中，我經常使用pickle將樹存儲到磁盤中。 最近我注意到程序使用了大內存，然后檢查了保存的pickle文件，大約600M，然后我編寫了另一個小測試程序，將樹重新加載到內存中，發現它會占用近10倍的內存（ 5G）比磁盤上的大小還正常嗎？ 避免這種情況的最佳方法是什么？

Answer 1

不，這是不正常的。 我懷疑你的樹比你想的要大。 編寫一些代碼來遍歷它，並加總所有使用的空間（並計算節點數）。

查看Python數據結構的內存大小

你到底在問什么？ 您是否對磁盤上的600M數據結構內存為5G感到驚訝？ 這並不奇怪。 Pickle會壓縮數據，因此您希望它在磁盤上更小。 它要小10倍（大約），非常好。

如果您對自己的數據量感到驚訝，那是另一回事。