如何讀取和寫入numpy數組到受保護的文件

Question

我希望並行運行的多個進程讀取和寫入同一numpy數組。 為了避免出現問題，在兩個進程試圖讀取/寫入同一內​​存的情況下，我需要保護要寫入的文件。 我怎么做？

我認為np.savetxt不保護該文件。 我已經嘗試過圖書館portalocker 。 但是，通過打開文件並將其鎖定，則不允許np.savetxt寫入文件。

Answer 1

有關使用輔助線程池的示例，請參見此問題“在python中下載超過1000個文件”（鏈接） 。

基本上，您事先將所有工作分解開來，將工作放入隊列中，然后讓工作線程池處理每項工作。 工作人員將結果放入另一個隊列，該隊列可以由另一個線程處理以將所有片段放在一起。