用pytables構造巨大的numpy數組

Question

我從大量數據生成示例的特征向量，我想在讀取數據時以增量方式存儲它們。 特征向量是numpy數組。 我事先不知道numpy數組的數量，我想以增量方式存儲/檢索它們。

查看pytables，我發現了兩個選擇：

1. 數組 ：它們需要預定的大小，我不確定多少附加在計算上是有效的。
2. 表格 ：列類型不支持列表或數組。

Answer 1

如果它是一個普通的numpy數組，則可能應該使用可擴展數組（EArray） http://pytables.github.io/usersguide/libref/homogenous_storage.html#the-earray-class

如果您有一個numpy結構化數組，則應使用一個Table。

Answer 2

您不能僅將它們存儲到數組中嗎？ 您已經有了代碼，它應該是一個循環，該循環將從數據中獲取內容以生成示例，然后生成示例。 在循環外創建一個數組，然后將向量附加到數組中進行存儲！

array = []
for row in file:
    #here is your code that creates the vector
    array.append(vector)

然后，在遍歷整個文件之后，您將擁有一個包含所有生成的向量的數組！ 希望這是您所需要的，您有點不清楚...下一次，請提供一些代碼。

哦，您確實說過您想要pytables，但我認為沒有必要，尤其是因為您提到的限制