将临时数据存储在数组中还是将其保存到文件中以供以后访问是否更好？

Question

这是一个广泛的问题。 我正在运行一个很长的模拟（在Python中），该模拟会生成大量数据（大约10,000 729 * 729矩阵）。 我只需要数据就可以绘制几个图，然后就完成了。 目前，我将数据保存在（numpy）数组中。 模拟完成后，我将绘制数据。

一种替代方法是将数据写入文件，然后在仿真后访问该文件以绘制图形等。

通常，对于管理大型临时数据集的最佳（即最快）方法已达成共识。 这些“最佳实践”中的任何一个？

Answer 1

尝试通过进一步处理/累积（例如立即绘制）来使数据尽可能快地过时。

您没有提供有关所需内存的详细信息。 对于稀疏矩阵，存在有效的表示。 如果矩阵不稀疏，则每个矩阵大约有500k条目，因此总共有5G条目。 不知道您的数据类型，通常可能是40GB的内存。

我强烈建议您查看算法以减少内存占用。