多处理，不同Python实例之间的共享池

Question

我有使用并行multiprocessing和joblib Python程序包的算法的并行版本。

例子：

import multiprocessing
from joblib import Parallel, delayed

def algorithm(files_list):
    # do stuff to files

# ... some setup code

num_cores = multiprocessing.cpu_count()

n_per_job = int(num_files / num_cores) + 1

results = Parallel(n_jobs=-1)(delayed(algorithm)(files[i*n_per_job:min((i+1)*n_per_job, num_files)]) for i in range(num_cores))

# ... do something with results 

现在出现问题了，在某些情况下，当我可能同时运行此脚本的多个实例时，由于上下文切换过多，使得CPU上同时运行的进程数量变得非常大。

对于多个实例，是否有办法限制多处理器可以全局生成的进程数？ 有没有办法建立全局池？

PS：如果您需要知道的话，我正在Unix计算机中使用代码。