python泡菜大小限制

Question

我想腌制一個大的 (1810392*255) numpy 數組。 但是，當酸洗我得到一個錯誤：

[...]error: 'i' format requires -2147483648 <= number <= 2147483647

代碼：

import numpy
import pickle
l=numpy.zeros((1810392,255))
f=open('file.pkl','wb')
pickle.dump(l,f,2)

有大小限制嗎？ 有解決方法嗎？ 如果沒有必要，我不想使用 hdf5 或沒有內置到 python 中的東西。

我也試過numpy.savez和numpy.savez_compressed 。 代碼：

import numpy
l=numpy.zeros((1810392,255))
numpy.savez_compressed('file.npz',l)

保存工作，但是當我嘗試加載數據時出現錯誤。 代碼：

import numpy
l=numpy.load('file.npz')
l['arr_0']

我需要使用numpy.savez而不是numpy.save因為我想存儲額外的數據。

Answer 1

我有類似的問題。 我得到的最大泡菜文件是 155Mb。 如果您打算添加更多數據，我建議您使用 sqlite3 或 firebase 之類的數據庫。