用数组存储一组文件的更好方法？

Question

我已经累积了500个左右的文件集，每个文件都有一个数组和存储元数据的标头。 就像是：

2,.25,.9,26 #<-- header, which is actually cryptic metadata 1.7331,0 1.7163,0 1.7042,0 1.6951,0 1.6881,0 1.6825,0 1.678,0 1.6743,0 1.6713,0

我想选择性地将这些数组读入内存。 我们构建了一个GUI，使用户可以从磁盘中选择一个或多个文件，然后将每个文件读入程序。 如果用户要读取所有500个文件，则该程序会缓慢打开和关闭每个文件。 因此，我的问题是：将所有这些存储在单个结构中会加快程序的速度吗？ 像hdf5一样？ 理想情况下，这将比单个文件具有更快的访问权限。 最好的方法是什么？ 我从未处理过这些类型的注意事项。 加快Python瓶颈的最佳方法是什么？ 总数据只有几兆字节，我什至可以将其存储在程序中的某个位置，而不仅仅是存储在磁盘上（但不知道如何执行此操作）

Answer 1

用python读取500个文件应该不会花费太多时间，因为整个文件大小约为几MB。 您的数据结构在文件块中是简单明了的，我猜它甚至不需要花费很多时间来解析。

如果实际的速度是打开和关闭文件的速度，那么可能存在与操作系统相关的问题（它的I / O可能很差）。

您是否将其定时设置为需要花费多少时间才能读取所有文件？

您也可以尝试使用小型数据库结构，例如sqllite。 您可以在其中存储文件数据并即时访问所需的数据。