Python：多处理代码非常慢

Question

我拉.8一气呵成百万的记录（这是一个时间过程），从mongodb使用pymongo并对其执行某些操作。

我的代码如下所示。

    proc = []
    for rec in cursor: # cursor has .8 million rows 
            print cnt
            cnt = cnt + 1
            url =  rec['urlk']
            mkptid = rec['mkptid']
            cii = rec['cii']

            #self.process_single_layer(url, mkptid, cii)


            proc = Process(target=self.process_single_layer, args=(url, mkptid, cii))
            procs.append(proc)
            proc.start()

             # complete the processes
    for proc in procs:
        proc.join()

process_single_layer是一个基本上从云下载urls并本地存储的功能。

现在的问题是，下载过程很慢，因为它必须命中URL。 而且由于记录量巨大，因此要处理1k行，因此需要6分钟。

为了减少时间，我想实现Multiprocessing 。 但是很难看到上面的代码有什么区别。

请建议我如何在这种情况下提高性能。

Answer 1

首先，您需要计算文件中的所有行，然后生成固定数量的进程（最好与处理器内核的数量匹配），并通过队列（每个进程一个）将等于total_number_of_rows / number_of_cores 。 这种方法的思想是将这些行的处理划分为多个进程，从而实现并行性。

一种动态找出内核数的方法是：

import multiprocessing as mp
cores_count = mp.cpu_count()

避免初始行数可以做的一点改进是，通过创建队列列表来循环添加一行，然后在其上应用循环迭代器。

一个完整的例子：

import queue
import multiprocessing as mp
import itertools as itools

cores_count = mp.cpu_count()


def dosomething(q):

    while True:

        try:
            row = q.get(timeout=5)
        except queue.Empty:
            break

    # ..do some processing here with the row

    pass

if __name__ == '__main__':
    processes
    queues = []

    # spawn the processes
    for i in range(cores_count):
        q = mp.Queue()
        queues.append(q)
        proc = Process(target=dosomething, args=(q,))
        processes.append(proc)

    queues_cycle = itools.cycle(queues)
    for row in cursor:
        q = next(queues_cycle)
        q.put(row)

    # do the join after spawning all the processes
    for p in processes:
        p.join()

Answer 2

在这种情况下使用池更容易。

队列不是必需的，因为您无需在生成的进程之间进行通信。 我们可以使用Pool.map分配工作量。

Pool.imap或Pool.imap_unordered在块大小较大时可能会更快。 （ 请 Pool.starmap ： https : Pool.starmap如果需要，可以使用Pool.starmap并摆脱元组拆包。

from multiprocessing import Pool

def process_single_layer(data):
    # unpack the tuple and do the processing
    url, mkptid, cii = data
    return "downloaded" + url

def get_urls():
    # replace this code: iterate over cursor and yield necessary data as a tuple
    for rec in range(8): 
            url =  "url:" + str(rec)
            mkptid = "mkptid:" + str(rec)
            cii = "cii:" + str(rec)
            yield (url, mkptid, cii)

#  you can come up with suitable process count based on the number of CPUs.
with Pool(processes=4) as pool:
    print(pool.map(process_single_layer, get_urls()))