Python多處理池apply_async錯誤

Question

我正在嘗試評估多處理池中的許多進程，但仍然遇到錯誤，我無法解決原因......下面是代碼的簡化版本：

class Object_1():

    def add_godd_spd_column()

        def calculate_correlations(arg1, arg2, arg3):
            return {'a': 1}

        processes = {}
        pool = Pool(processes=6)
        for i in range(1, 10):
            processes[i] = pool.apply_async(calculate_correlations,
                                            args=(arg1, arg2, arg3,))

        correlations = {}
        for i in range(0, 10):
            correlations[i] = processes[i].get()

這將返回以下錯誤：

Traceback (most recent call last):
  File "./02_results.py", line 116, in <module>
    correlations[0] = processes[0].get()
  File "/opt/anaconda3/lib/python3.5/multiprocessing/pool.py", line 608, in get
    raise self._value
  File "/opt/anaconda3/lib/python3.5/multiprocessing/pool.py", line 385, in 
_handle_tasks
    put(task)
  File "/opt/anaconda3/lib/python3.5/multiprocessing/connection.py", line 206, in send
     self._send_bytes(ForkingPickler.dumps(obj))
   File "/opt/anaconda3/lib/python3.5/multiprocessing/reduction.py", line 50, in dumps
    cls(buf, protocol).dump(obj)
AttributeError: Can't pickle local object 'SCADA.add_good_spd_column.<locals>.calculate_correlations

當我調用以下內容：correlations [0] .successful（）我收到以下錯誤：

Traceback (most recent call last):
  File "./02_results.py", line 116, in <module>
    print(processes[0].successful())
  File "/opt/anaconda3/lib/python3.5/multiprocessing/pool.py", line 595, in 
successful
    assert self.ready()
AssertionError

這是因為在調用.get（）之前，進程實際上沒有完成嗎？ 正在評估的函數只返回一個絕對應該可以選擇的字典......

干杯，

Answer 1

發生錯誤是因為不支持在另一個函數中嵌套函數 ，並且multiprocessing.Pool需要將您傳遞的函數作為apply_async的參數進行apply_async ，以便在工作進程中執行它。 您必須將函數移動到模塊的頂層，或使其成為類的實例方法。 請記住，如果將其設為實例方法，則類本身的實例也必須是可選的。

是的，調用successful()時出現斷言錯誤是因為你在結果准備好之前調用它。 來自文檔 ：

successful()

返回是否完成調用而不引發異常。 如果結果未准備好，將引發AssertionError 。