如何在功能中使用多重处理？

Question

我想在“ a.py”中定义一个函数，该函数使用多处理进行并行化，然后将其作为库函数导入“ b.py”中。 例如，在“ a.py”中：

import multiprocessing as mp, queue

def MPWorker(input, i):
    input.put(i)


def MPTest(MaxMPNum):
    jobs = []
    BatchResult = queue.Queue()
    for i in range(MaxMPNum):
        p = mp.Process(target=MPWorker, args=(BatchResult, i + 1))
        p.start()
        print("this is", i)
        jobs.append(p)
    for i in range(MaxMPNum):
        print("getting", i)
        result = BatchResult.get()
        print(result)

然后在“ b.py”中：

import a
a.MPTest(10)

但是，它将无法正常工作，我将始终收到错误：_pickle.PicklingError：无法进行腌制：_thread上的属性查找锁定失败。 那么，是否有可能以这种方式使用python的多处理功能，或者我错过了任何东西？

整个追溯，略做编辑（Python 3.x，Windows）：

Traceback (most recent call last):
  File "F:/b.py", line 72, in <module>
    a.MPTest(5)
  File "F:\a.py", line 566, in MPTest
    p.start()
  File "C:\Python34\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
  File "C:\Python34\lib\multiprocessing\context.py", line 212, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "C:\Python34\lib\multiprocessing\context.py", line 313, in _Popen
    return Popen(process_obj)
  File "C:\Python34\lib\multiprocessing\popen_spawn_win32.py", line 66, in __init__
    reduction.dump(process_obj, to_child)
  File "C:\Python34\lib\multiprocessing\reduction.py", line 59, in dump
    ForkingPickler(file, protocol).dump(obj)
_pickle.PicklingError: Can't pickle <class '_thread.lock'>: attribute lookup lock on _thread failed

Answer 1

问题在于您使用的是queue.Queue ，它仅在同一进程中的线程之间起作用，而不是multiprocessing.Queue ，其在进程之间是起作用的。

根据您的平台和使用方式，这将以不同的方式失败。 在您的情况下，因为您正在尝试将队列作为参数传递给Process构造函数，并且您在Windows上，则会遇到最棒的错误：尝试对队列本身进行酸洗，然后失败。*在Unix上，您实际上可以成功地将队列传递给子进程，但是当您使用它时，它可能会丢失大多数值（OS X）或死锁（大多数其他系统）。

正如文档所解释的， multiprocessing.Queue “是queue.Queue的近乎克隆”，除了它是“线程和进程安全的”，而不仅仅是线程安全的。

---

如果您认为您正在使用multiprocessing.Queue ，那么您的错误就在此行中：

import multiprocessing as mp, queue

这不会同时将multiprocessing作为mp和queue导入，而是将multiprocessing作为mp导入，并将queue本身作为导入。 有关详细信息，请参见import参考。

它对人类是不明确的（即使它对解析器而言不是不明确的事实）是在Python中不鼓励多次导入语句的原因之一。 例如， PEP 8说“导入通常应该放在单独的行上”。

---

_{*如果在您对其进行腌制时队列本身引发了异常，而不是依赖于它使用一些不可腌制的线程同步对象这一事实可能会更好，因为对_thread.lock进行腌制并不是完全由腌制queue.Queue引起的queue.Queue 。}