將臨時數據存儲在數組中還是將其保存到文件中以供以后訪問是否更好？

Question

這是一個廣泛的問題。 我正在運行一個很長的模擬（在Python中），該模擬會生成大量數據（大約10,000 729 * 729矩陣）。 我只需要數據就可以繪制幾個圖，然后就完成了。 目前，我將數據保存在（numpy）數組中。 模擬完成后，我將繪制數據。

一種替代方法是將數據寫入文件，然后在仿真后訪問該文件以繪制圖形等。

通常，對於管理大型臨時數據集的最佳（即最快）方法已達成共識。 這些“最佳實踐”中的任何一個？

Answer 1

嘗試通過進一步處理/累積（例如立即繪制）來使數據盡可能快地過時。

您沒有提供有關所需內存的詳細信息。 對於稀疏矩陣，存在有效的表示。 如果矩陣不稀疏，則每個矩陣大約有500k條目，因此總共有5G條目。 不知道您的數據類型，通常可能是40GB的內存。

我強烈建議您查看算法以減少內存占用。