处理大量数据

Question

因此，我正在进行参数化能源仿真，最终将500GB +的数据存储在.CSV文件中。 我需要能够处理所有这些数据，以比较结果并深入了解不同参数的影响。

每个csv文件名均包含用于仿真的参数信息，因此我无法合并这些文件。

我通常使用pandas并定义一个类将.csv文件加载到python。 但是现在（包含所有这些数据）没有足够的内存来执行此操作。

您能指出我一种处理这些数据的方法吗？ 我需要能够绘制并比较csv文件。

感谢您的时间。

Answer 1

将 csv文件转换为hdf5 ，该文件旨在处理庞大而复杂的数据集。 它可与熊猫以及其他 图书馆一起使用 。