用數組存儲一組文件的更好方法？

Question

我已經累積了500個左右的文件集，每個文件都有一個數組和存儲元數據的標頭。 就像是：

2,.25,.9,26 #<-- header, which is actually cryptic metadata 1.7331,0 1.7163,0 1.7042,0 1.6951,0 1.6881,0 1.6825,0 1.678,0 1.6743,0 1.6713,0

我想選擇性地將這些數組讀入內存。 我們構建了一個GUI，使用戶可以從磁盤中選擇一個或多個文件，然后將每個文件讀入程序。 如果用戶要讀取所有500個文件，則該程序會緩慢打開和關閉每個文件。 因此，我的問題是：將所有這些存儲在單個結構中會加快程序的速度嗎？ 像hdf5一樣？ 理想情況下，這將比單個文件具有更快的訪問權限。 最好的方法是什么？ 我從未處理過這些類型的注意事項。 加快Python瓶頸的最佳方法是什么？ 總數據只有幾兆字節，我什至可以將其存儲在程序中的某個位置，而不僅僅是存儲在磁盤上（但不知道如何執行此操作）

Answer 1

用python讀取500個文件應該不會花費太多時間，因為整個文件大小約為幾MB。 您的數據結構在文件塊中是簡單明了的，我猜它甚至不需要花費很多時間來解析。

如果實際的速度是打開和關閉文件的速度，那么可能存在與操作系統相關的問題（它的I / O可能很差）。

您是否將其定時設置為需要花費多少時間才能讀取所有文件？

您也可以嘗試使用小型數據庫結構，例如sqllite。 您可以在其中存儲文件數據並即時訪問所需的數據。