如何使用mpi4py并行化这个python脚本？

Question

如果已经提出这个问题，我很抱歉，但我已经阅读了大量文档，但我仍然不确定如何做我想做的事情。

我想同时在多个内核上运行Python脚本。

我在一个目录中有1800个.h5文件，名称为“snaphots_s1.h5”，“snapshots_s2.h5”等，每个大小约为30MB。 这个Python脚本：

1. 从目录中一次读取一个h5py文件。
2. 提取并操作h5py文件中的数据。
3. 创建提取数据的图。

完成此操作后，脚本将从目录中读取下一个h5py文件，并执行相同的过程。 因此，在完成这项工作时，没有一个处理器需要与任何其他处理器通信。

脚本如下：

import h5py
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.colors as colors
import cmocean
import os  

from mpi4py import MPI

de.logging_setup.rootlogger.setLevel('ERROR')

# Plot writes

count = 1
for filename in os.listdir('directory'):  ### [PERF] Applied to ~ 1800 .h5 files
    with h5py.File('directory/{}'.format(filename),'r') as file:

         ### Manipulate 'filename' data.  ### [PERF] Each fileI ~ 0.03 TB in size
         ...

         ### Plot 'filename' data.        ### [PERF] Some fileO is output here
         ...
count = count + 1

理想情况下，我想使用mpi4py来执行此操作（出于各种原因），但我对其他选项（如multiprocessing.Pool（我实际上无法开始工作）持开放态度。我尝试按照此处概述的方法）。

所以，我的问题是：我需要在脚本中使用什么命令来使用mpi4py并行化它？ 或者，如果此选项不可用，我还能如何并行化脚本？

Answer 1

您应该使用多处理 ，并且Javier示例应该可以工作，但我想将其分解，以便您也可以理解这些步骤。

通常，在使用池时，您会创建一个空闲的进程池，直到您向它们传递一些工作。 理想的方法是创建一个每个进程都会执行的函数。

def worker(fn):
    with h5py.File(fn, 'r') as f:
        # process data..
        return result

那么简单。 每个进程都将运行此进程，并将结果返回给父进程。

现在您已经拥有了完成worker函数，让我们为它创建输入数据。 它需要一个文件名，所以我们需要一个所有文件的列表

full_fns = [os.path.join('directory', filename) for filename in 
            os.listdir('directory')]

接下来初始化进程池。

import multiprocessing as mp
pool = mp.Pool(4)  # pass the amount of processes you want
results = pool.map(worker, full_fns)  

# pool takes a worker function and input data
# you usually need to wait for all the subprocesses done their work before 
using the data; so you don't work on partial data.

pool.join()
poo.close()

现在，您可以通过results访问您的数据。

for r in results:
    print r

请在评论中告诉我这对您有何影响

Answer 2

多处理不应该比这更复杂：

def process_one_file(fn):
    with h5py.File(fn, 'r') as f:
        ....
    return is_successful


fns = [os.path.join('directory', fn) for fn in os.listdir('directory')]
pool = multiprocessing.Pool()
for fn, is_successful in zip(fns, pool.imap(process_one_file, fns)):
    print(fn, "succedded?", is_successful)

Answer 3

您应该能够使用multiprocessing库轻松实现多multiprocessing 。

from multiprocessing.dummy import Pool

def processData(files):
    print files
    ...
    return result

allFiles = glob.glob("<file path/file mask>")
pool = Pool(6) # for 6 threads for example
results = pool.map(processData, allFiles)