np.save 用於 for 循環中的大數據

Question

據我所知， np.save在循環外一次寫入數組。 是否可以將np.save放入循環中並將每一行附加到單個文件中。 我擁有的數據非常大，如果我聲明一個大小為(200k X 20k)的數組，python 就會崩潰。 我知道數組的形狀。

示例代碼

for doPr in range(original_file.shape[0]):
    each_row = original_file[doPr, :]
    each_row = each_row + add_something
    np.save(path+"original_mod_file.npy", each_row)

original_file我從硬盤驅動器每行讀取。 original_mod_file.npy是我要每行寫入的內容，大小為(200k X 20k)

Answer 1

從https://numpy.org/doc/stable/reference/generated/numpy.save.html復制

with open('test.npy', 'wb') as f:
    np.save(f, np.array([1, 2]))
    np.save(f, np.array([1, 3]))

打開要保存到的文件並將模式（ 'rb' ）編輯為'ab+' 。 如果文件不存在，這將創建一個文件，讓你 append 到它。 然后，您可以在循環中僅 append 您的數據。