Python多處理：將簡單的工作拆分為多個進程

Question

編輯

提議的代碼實際上有效！ 我只是在沒有顯示輸出的IDE中運行它。

我將問題拋在腦后，因為評論/答案很有啟發性

---

我需要將大量工作分配給許多工人。 為了弄清楚如何做到這一點，我使用了以下簡單示例，其中的代碼大部分來自此處 。 基本上，我正在獲取一個列表，將其分解成較短的子列表（塊），並要求multiprocessing使用專門的工作人員打印每個子列表的內容：

import multiprocessing
from math import ceil

# Breaking up the long list in chunks:
def chunks(l, n):
    return [l[i:i+n] for i in range(0, len(l), n)]

# Some simple function 
  def do_job(job_id, data_slice):
      for item in data_slice:
          print("{}_{}".format(job_id, item))

然后，我這樣做：

if __name__ == '__main__':

    # My "long" list
    l = [letter for letter in 'abcdefghijklmnopqrstuvwxyz']

    my_chunks = chunks(l, ceil(len(l)/4))

此時，my_chunks符合預期：

[['a', 'b', 'c', 'd', 'e', 'f', 'g'],
 ['h', 'i', 'j', 'k', 'l', 'm', 'n'],
 ['o', 'p', 'q', 'r', 's', 't', 'u'],
 ['v', 'w', 'x', 'y', 'z']]

然后：

    jobs = []
    for i, s in enumerate(my_chunks):
        j = mp.Process(target=do_job, args=(i, s))
        jobs.append(j)
    for j in jobs:
        print('starting job {}'.format(str(j)))        
        j.start()

最初 ，我寫這個問題是因為我沒有從do_job函數中獲得預期的打印輸出。

事實證明 ，從命令行運行時，代碼工作正常。

Answer 1

也許這是您第一次進行多處理？ 您是等待流程退出還是要退出主要流程，然后流程才有時間完成那里的工作？

from multiprocessing import Process
from string import ascii_letters
from time import sleep


def job(chunk):
    done = chunk[::-1]
    print(done)

def chunk(data, parts):
    divided = [None]*parts
    n = len(data) // parts
    for i in range(parts):
        divided[i] = data[i*n:n*(i+1)]
    if len(data) % 2 != 0:
        divided[-1] += [data[-1]]
    return divided


def main():
    data = list(ascii_letters)
    workers = 4
    data_chunks = chunk(data, workers)
    ps = []
    for i in range(4):
        w = Process(target=job, args=(data_chunks[i],))
        w.deamon = True
        w.start()
        ps += [w]
    sleep(2)



if __name__ == '__main__':
    main()