多种功能的多处理

Question

假设我有 10 万个 json，其中包含大量数据，而data_jsons是包含这些文件名称的列表。

另外，假设我有 3 个函数：1) upload_data() 2) data_preprocess_1() 3) data_preprocess_2()

可以为每个 json 分别调用这些函数，因此它们都是可并行的。

总体上多处理我的代码的最佳方法是什么？

一个选项（非常粗略地描述）如下：

import os
from multiprocessing import Pool


def upload_data():
...


def data_preprocess_1():
...


def data_preprocess_2():
...


if __name__ == '__main__':

    pool = Pool(processes=os.cpu_count())                       
    temp_1 = pool.map(upload_data, json_files)

    pool = Pool(processes=os.cpu_count())                       
    temp_2 = pool.map(data_preprocess_1, temp_1)

    pool = Pool(processes=os.cpu_count())                       
    final = pool.map(data_preprocess_2, temp_2)

但据我了解，我以这种方式分别对每个 function 进行并行化，而我可以将它们全部并行化，以避免使用我的所有数据加载temp_1和temp_2 （这将捕获大量内存）。

我认为避免这种情况的选项（非常粗略地描述）如下：

import os
from multiprocessing import Pool


def upload_data():
...


def data_preprocess_1():
...


def data_preprocess_2():
...

def data_all():
    upload_data()
    data_preprocess_1()
    data_preprocess_2()
...



if __name__ == '__main__':

    pool = Pool(processes=os.cpu_count())                       
    final = pool.map(data_all, data_jsons)

我还有其他选择吗？

我对我描述的选项有什么误解吗？

只是为了弄清楚我不想将这 3 个函数合并为一个的原因是因为它们中的每个函数中的代码执行不同的子任务。

Answer 1

对于任何优化问题，从一开始就从基准开始。

也就是说，您几乎肯定会想要一个像data_all()这样的机制，而不是使用中间存储。 对于您可能想要应用多处理的许多情况，主要成本只是将对象从一个进程的 memory 移动到另一个进程的 memory，而 AFAIK 抵消这一点的唯一方法是为每一位做更多的工作传输的数据。

关于您是否缺少任何其他选项的其他问题，有很多。 您可以在可以改变管道性能特征的过程的任何步骤中进行不同类型的批处理、流式处理或其他类型的操作和转换。 峰值 memory 的使用尤其可以通过其他类型的架构来减少，但这是否重要（或实用）实际上取决于您的确切数据。