如何读取和写入numpy数组到受保护的文件

Question

我希望并行运行的多个进程读取和写入同一numpy数组。 为了避免出现问题，在两个进程试图读取/写入同一内​​存的情况下，我需要保护要写入的文件。 我怎么做？

我认为np.savetxt不保护该文件。 我已经尝试过图书馆portalocker 。 但是，通过打开文件并将其锁定，则不允许np.savetxt写入文件。

Answer 1

有关使用辅助线程池的示例，请参见此问题“在python中下载超过1000个文件”（链接） 。

基本上，您事先将所有工作分解开来，将工作放入队列中，然后让工作线程池处理每项工作。 工作人员将结果放入另一个队列，该队列可以由另一个线程处理以将所有片段放在一起。