python multiprocessing pickling / manager / misc错误（来自PMOTW）

Question

我无法让以下代码通过Windows在Eclipse上运行。 该代码来自Doug Hellman ：

import random
import multiprocessing
import time


class ActivePool:

    def __init__(self):
        super(ActivePool, self).__init__()
        self.mgr = multiprocessing.Manager()
        self.active = self.mgr.list()
        self.lock = multiprocessing.Lock()

    def makeActive(self, name):
        with self.lock:
            self.active.append(name)

    def makeInactive(self, name):
        with self.lock:
            self.active.remove(name)

    def __str__(self):
        with self.lock:
            return str(self.active)


def worker(s, pool):
    name = multiprocessing.current_process().name
    with s:
        pool.makeActive(name)
        print('Activating {} now running {}'.format(
            name, pool))
        time.sleep(random.random())
        pool.makeInactive(name)


if __name__ == '__main__':
    pool = ActivePool()
    s = multiprocessing.Semaphore(3)
    jobs = [
        multiprocessing.Process(
            target=worker,
            name=str(i),
            args=(s, pool),
        )
        for i in range(10)
    ]

    for j in jobs:
        j.start()

    for j in jobs:
        j.join()
        print('Now running: %s' % str(pool))

我收到以下错误，我认为这是由于将pool作为Process的参数传入时出现了一些酸洗问题。

Traceback (most recent call last):
  File "E:\Eclipse_Workspace\CodeExamples\FromCodes\CodeTest.py", line 50, in <module>
    j.start()
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
    reduction.dump(process_obj, to_child)
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\connection.py", line 939, in reduce_pipe_connection
    dh = reduction.DupHandle(conn.fileno(), access)
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\connection.py", line 170, in fileno
    self._check_closed()
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\connection.py", line 136, in _check_closed
    raise OSError("handle is closed")
OSError: handle is closed
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\spawn.py", line 99, in spawn_main
    new_handle = reduction.steal_handle(parent_pid, pipe_handle)
  File "C:\Users\Bob\AppData\Local\Programs\Python\Python36-32\lib\multiprocessing\reduction.py", line 87, in steal_handle
    _winapi.DUPLICATE_SAME_ACCESS | _winapi.DUPLICATE_CLOSE_SOURCE)
PermissionError: [WinError 5] Access is denied

一个类似的问题的答案似乎表明我在顶层使用函数调用来初始化pool ，但是我不知道如何将其应用于本示例。 我ActivePool在worker初始化ActivePool ？ 这似乎击败了海尔曼的榜样精神。

另一个答案建议我使用__getstate__ ， __setstate__来删除无法修复的对象并在进行修复时对其进行重构，但是我不知道如何使用诸如Manager之类的代理对象来实现此目的，而且我也不知道什么是无法修复的对象。

有什么办法可以使本示例的更改量最小？ 我真的很想了解幕后情况。 谢谢！

编辑-解决的问题：

事后看来，酸洗问题非常明显。 ActivePool的__init__包含一个似乎无法拾取的Manager（）对象。 如果我们删除self.mgr ，并在一行中初始化列表ProxyObject，则代码将按照Hellman的示例正常运行：

def __init__(self):
        super(ActivePool, self).__init__()
        self.active = multiprocessing.Manager().list()
        self.lock = multiprocessing.Lock()

Answer 1

评论 ：'join（）'在Hellman示例中，但是我忘了将其添加到代码段中。 还有其他想法吗？

我正在运行Linux，并且按预期方式运行，Windows表现出不同的读取理解，pyt中的多处理共享内存管理锁和队列

要确定args=(s, pool)哪个参数引发错误，请删除其中一个并将其用作global 。
更改：

def worker(s):
    ...

        args=(s,),

---

注意 ：无需将multiprocessing.Manager().list()包含在Lock() 。
这不是您错误的罪魁祸首。

---

问题 ：有什么办法可以使本示例进行最小的更改？

您的__main__进程终止，因此所有启动的进程都会在不可预测的执行位置死亡。 最后添加一个简单的.join() ，以使__main__等待所有进程完成：

    for j in jobs:
        j.join()

    print('EXIT __main__')

使用Python测试：3.4.2