如何通过并行化提高python代码的处理速度

Question

我目前有一个包含以下部分的顺序代码（所有部分都正确封装和隔离在 class 方法等中）：

1. 来自.network stream 和 opencv VideoCapture的帧捕获
2. 用yolov7处理图片到pytorch（用cuda）
3. yolov7的经典处理 output
4. 每 X 帧完成一次超重经典处理（X 将为 30 或 60）

因为这将需要实时运行（允许一些小的恒定延迟，但不是增长的延迟），需要做一些事情，因为它目前以 15 fp 的速度运行（已经忽略奇数帧）。 时间分析显示最耗时的过程是 (2) 和 (4)（不足为奇）。

当我开始查找 (1) 的信息时，我了解了threading模块，它看起来很有前途，并且在涉及从相机捕获图像时出现在很多 stackoverflow 答案中以提高代码速度。 这让我看到了这个模块的救赎（因为对并行化的误解），直到我刚刚了解到它仍然执行一个线程，这要归功于 GIL 的东西。 我也知道asyncio 、 multithreading和concurrent.futures.ProcessPoolExecutor的存在。 我也读过这篇关于线程的文章。 多核处理可用。

目的是让 (1) 将帧捕获到queue中。 (2) 在有可用帧时获取帧并对其进行处理。 一旦完成处理，将 output 交给 (3) 并读取queue中的下一个可用帧以继续处理，同时 (3) 和 (4) 也被执行。 (3) 获取 (2) output 并以超快的速度处理它，然后等到 (2) 有 output 并重复。 最后，每 X 帧，(4) 将读取 (3) 生成的输出直到该点并执行一些繁重的计算。

如果我理解得很好，我应该使用多处理而不是多线程，因为这是一个相当密集的计算问题（除了 (1) 上的 I/O）。

所以问题真的是：

• 对于（1），既然这是I/O相关的， threading结合queue是不是go的好方法？
• 对于（2）、（3）和（4），如何进行？ 我需要它们同时运行，尤其是 (2) 和 (4)，因为 (3) 实际上以近 300 fps 的速度运行
• 对于（2），有没有办法同时处理两帧？ 例如同时处理偶数帧和奇数帧。 这是现在进行实时处理的关键点。
• 这一切有多难？ 我不是这个话题的真正专家（我实际上是物理学家）所以我不知道我是否让自己陷入了太多的滑坡。

我只需要知道所有这些混乱情况的人为我指明正确的方向，所以请不要犹豫添加一些参考资料。 非常感谢您！

Answer 1

像这样的问题很难给出权威的回答。 在处理类似问题（在无人机上的 Raspberry Pi 上进行图像处理）时，我可以提供一些经验。

以我的经验，多处理是通往 go 的途径。由于 PIL 的限制，如果您正在推动单核的极限，线程将做的很少。 您可以在具有阻塞但不是资源密集型操作的环境中使用线程，例如 IO.network。 此外，您要避免混合使用Threads和Processes ，尤其是当您不确定自己知道自己在做什么时。

您本质上想要一个流程管道，多个阶段，每个阶段处理一个特定的任务，并行运行。 在这种情况下，您的每帧处理时间从各个阶段处理时间的总和到每阶段处理时间的最大值。

实际上，您希望每个阶段都有一个Process ，中间有一个多处理Queue 。 您想要单独测试每个阶段，首先以受控方式传入/传出项目，然后尝试集成它们。 这不是微不足道的，但你可以做到。

至于并行处理 (2) 的两个过程，虽然可能，但有一些事情需要考虑：

• CUDA 能够处理吗？ 因为您正在将一些处理传递给您的 GPU，所以它可能会受到限制，而不是 CPU。 因此，向它发送两倍的工作量可能什么也做不了。
• 你想确保你有一个强大的方法来重新排序你的框架。 您很可能最终会得到 (1) 发布到的两个Queues ，以及供 (3) 使用的两个Queues 。 您需要确保 (3) 正在为正确的队列消耗项目，并按顺序发出它们。 您可能希望传递一些元数据来帮助解决此问题。

Answer 2

如您所述，Python 受 GIL 限制，这意味着 python 进程只能使用一个 CPU。 对于 I/O，线程工作得很好，但如果有多个 CPU 内核可用，您将无法使用它们。

然而，在 python 中有一个很棒的多处理模块，可以让你创建一个新的进程。 这比创建线程需要更多时间，但可以在不同的 CPU 内核上运行。

有很多这样的例子，例如这个（参见上面链接的 python 模块页面）但是这里有一个使用来自DigitalOcean的队列

from multiprocessing import Lock, Process, Queue, current_process
import time
import queue # imported for using queue.Empty exception


def do_job(tasks_to_accomplish, tasks_that_are_done):
    while True:
        try:
            '''
                try to get task from the queue. get_nowait() function will 
                raise queue.Empty exception if the queue is empty. 
                queue(False) function would do the same task also.
            '''
            task = tasks_to_accomplish.get_nowait()
        except queue.Empty:

            break
        else:
            '''
                if no exception has been raised, add the task completion 
                message to task_that_are_done queue
            '''
            print(task)
            tasks_that_are_done.put(task + ' is done by ' + current_process().name)
            time.sleep(.5)
    return True


def main():
    number_of_task = 10
    number_of_processes = 4
    tasks_to_accomplish = Queue()
    tasks_that_are_done = Queue()
    processes = []

    for i in range(number_of_task):
        tasks_to_accomplish.put("Task no " + str(i))

    # creating processes
    for w in range(number_of_processes):
        p = Process(target=do_job, args=(tasks_to_accomplish, tasks_that_are_done))
        processes.append(p)
        p.start()

    # completing process
    for p in processes:
        p.join()

    # print the output
    while not tasks_that_are_done.empty():
        print(tasks_that_are_done.get())

    return True


if __name__ == '__main__':
    main()