以更少的内存存储/加载巨大的numpy数组

Question

我有一个形状为numpy的数组（20000、600、768）。 我需要存储它，因此以后可以将其加载回我的代码中。 主要问题是将其重新加载时的内存使用情况。 我只有16GB的RAM。

例如，我尝试了泡菜。 当它加载时，我几乎没有剩余的内存来做其他事情。 特别是训练模型。

我尝试使用hdf5（h5py）进行写入和加载。 只是一小部分（1000、600、768）。 但是似乎它“吃掉”了更多的内存。

也尝试过csv。。那只是一个禁忌。 花费太多时间来写入数据。

我将对如何存储阵列的任何建议表示感谢，这样当我将其加载回该阵列时不会占用太多内存。

PS我存储的数据是文本的矢量表示，后来用于训练模型。

Answer 1

我认为您可以做很多事情。

首先，您可以更改数据格式以不同的方式进行存储：

• 在辅助存储器中的文件中以迭代方式读取（将python对象转储到辅助存储器中效率不高。您需要找到更好的格式。例如，文本文件中的行是矩阵的行）
• 或在数据库中。 始终以迭代方式使数据可读。

其次，也是最重要的是， 您需要更改算法 。 如果无法将所有数据容纳在内存中，则需要使用其他类型的方法，其中使用批处理数据而不是所有数据。

例如，对于机器学习，有很多方法可以使用大量数据对模型进行增量更新

第三，有些方法可以减少训练集的维数 。 例如使用PCA，功能选择等方法