为什么多重处理很慢

Question

我只是为了提高程序速度而开始阅读有关多处理的内容。 因此，我写了两个基本示例，从随机数列表中提取质数。

示例1：使用多处理

from multiprocessing import Process, Queue
from random import randrange
import time

def randomList(q, size, nmax):
    l = []
    r = randrange(2, nmax)
    for i in range(size):
        while r in l: # avoid replicating numbers
            r = randrange(2, nmax)
        l.append(r)
        q.put(r)

def checkPrime(numbers, prime):
    if numbers.qsize():
        n = numbers.get()
        count = 0 # divisors counter
        d = 2 # divisor
        while not count and d<=n/2:
            if n%d:
                d+=1
            else:
                count+=1
        if not count:
            prime.put(n)

if __name__=="__main__":
    numbers = Queue()
    prime = Queue()
    randomList(numbers, 50, 1000) # 50 number | 100 max value
    t1 = time.time()
    while numbers.qsize():
        for i in range(10): # Running 10 processes 
            p=Process(target=checkPrime, args=(numbers, prime))
            p.start()
            p.join()
    t2 = time.time()
    primes = []
    for i in range(prime.qsize()):
        primes.append(prime.get())
    print("[+] Prime numbers:")
    print(primes)
    print("[+] Time elapsed:"+str(t2-t1))

输出：

[+] Prime numbers:
[17, 227, 389, 593, 953, 757]
[+] Time elapsed:9.41699981689

示例2：与示例1相同，但没有多处理

[...]
    while numbers.qsize():
        checkPrime(numbers, prime)
[...]

输出：

[+] Prime numbers:
[193, 227, 241, 439, 499, 877, 479, 743, 929]
[+] Time elapsed:0.00999999046326

因此，与不使用它相比，多重处理使该程序（特别是也许）变得非常慢。 有什么解释吗？ 我使用错误的方式吗？

Answer 1

我认为您的多处理方法很差。 而不是将工作分成10个流程并立即启动，而是一次启动一个流程，每个流程都执行一个工作单元，然后退出。 您的实现将在其生命周期内创建（然后销毁）50个进程，这会产生大量开销。

您还需要在启动它们后立即加入这些进程，这可以确保您实际上从未运行多个进程。 连接使它等待子进程完成后再继续。

最后，必须有一种更好的方法来返回结果，即使用队列并一次获取单个值。 如果您可以通过一组工作来立即启动每个进程，然后将列表中的结果返回到主线程，则可以减少使用队列的开销。

Answer 2

您for i in range()正在等待您加入.join()的过程完成。 因此，基本上，您是在生成一个新进程，该进程消耗队列并报告结果，然后生成其他9个进程来检查空队列。

.join()

阻塞调用线程，直到调用join（）方法的进程终止或直到发生可选的超时为止。

池是执行相同操作的更简单方法。 检查以下答案，以将map_async()与一组工作程序一起使用：

Python多处理map_async

Answer 3

多重处理中有一个简单的规则：如果拆分（创建子任务）+联接（连接结果等）以创建多重处理的工作>顺序时间，则您的“并行”版本将比顺序版本效率低下。 这是你的情况。 尝试生成一百万个数字（保持10个进程数），您将看到差异。

@ Sohcahtoa82的良好编码技巧。 也要记住它们。