Chunksize與Python中的多處理/ pool.map無關？

Question

我嘗試利用python的池多處理功能。

獨立於我如何設置塊大小（在Windows 7和Ubuntu下 - 后者見下面有4個核心），並行線程的數量似乎保持不變。

from multiprocessing import Pool
from multiprocessing import cpu_count
import multiprocessing
import time


def f(x):
    print("ready to sleep", x, multiprocessing.current_process())
    time.sleep(20)
    print("slept with:", x, multiprocessing.current_process())


if __name__ == '__main__':
    processes = cpu_count()
    print('-' * 20)
    print('Utilizing %d cores' % processes)
    print('-' * 20)
    pool = Pool(processes)
    myList = []
    runner = 0
    while runner < 40:
        myList.append(runner)
        runner += 1
    print("len(myList):", len(myList))

    # chunksize = int(len(myList) / processes)
    # chunksize = processes
    chunksize = 1
    print("chunksize:", chunksize)
    pool.map(f, myList, 1)

無論我使用chunksize = int(len(myList) / processes) ， chunksize = processes還是1 （如上例所示），行為都是一樣的。

是否可以將chunksize自動設置為核心數量？

chunksize = 1示例：

--------------------
Utilizing 4 cores
--------------------
len(myList): 40
chunksize: 10
ready to sleep 0 <ForkProcess(ForkPoolWorker-1, started daemon)>
ready to sleep 1 <ForkProcess(ForkPoolWorker-2, started daemon)>
ready to sleep 2 <ForkProcess(ForkPoolWorker-3, started daemon)>
ready to sleep 3 <ForkProcess(ForkPoolWorker-4, started daemon)>
slept with: 0 <ForkProcess(ForkPoolWorker-1, started daemon)>
ready to sleep 4 <ForkProcess(ForkPoolWorker-1, started daemon)>
slept with: 1 <ForkProcess(ForkPoolWorker-2, started daemon)>
ready to sleep 5 <ForkProcess(ForkPoolWorker-2, started daemon)>
slept with: 2 <ForkProcess(ForkPoolWorker-3, started daemon)>
ready to sleep 6 <ForkProcess(ForkPoolWorker-3, started daemon)>
slept with: 3 <ForkProcess(ForkPoolWorker-4, started daemon)>
ready to sleep 7 <ForkProcess(ForkPoolWorker-4, started daemon)>
slept with: 4 <ForkProcess(ForkPoolWorker-1, started daemon)>
ready to sleep 8 <ForkProcess(ForkPoolWorker-1, started daemon)>
slept with: 5 <ForkProcess(ForkPoolWorker-2, started daemon)>
ready to sleep 9 <ForkProcess(ForkPoolWorker-2, started daemon)>
slept with: 6 <ForkProcess(ForkPoolWorker-3, started daemon)>
ready to sleep 10 <ForkProcess(ForkPoolWorker-3, started daemon)>
slept with: 7 <ForkProcess(ForkPoolWorker-4, started daemon)>
ready to sleep 11 <ForkProcess(ForkPoolWorker-4, started daemon)>
slept with: 8 <ForkProcess(ForkPoolWorker-1, started daemon)>

Answer 1

Chunksize不影響使用的核心數量，這由Pool的processes參數設置。 Chunksize設置傳遞給Pool.map的可迭代項的Pool.map ，在Pool調用“任務”時，每個工作進程一次分配（下圖顯示了Python 3.7.1）。

如果您設置chunksize=1 ，則只有在完成之前收到的工作后，才能在新任務中為工作進程提供新項目。 對於chunksize > 1一個工作人員在一個任務中一次獲得一整批項目，當它完成時，如果有任何剩余，它將獲得下一批。

使用chunksize=1逐個分發項目會增加調度的靈活性，同時降低整體吞吐量，因為滴灌需要更多的進程間通信（IPC）。

在我的游泳池的CHUNKSIZE算法的深入分析在這里 ，我定義工作單元，用於處理迭代為taskel的一個項目，以避免命名沖突字的“任務”的游泳池的使用。 任務（作為工作單元）由chunksize taskel組成。

如果無法預測taskel需要完成多長時間，則可以設置chunksize=1 ，例如優化問題，其中處理時間在任務欄之間變化很大。 在這里滴水可防止工人進程坐在一堆未觸動的物品上，同時在一個重型任務上運行，防止他的任務中的其他物品被分配到空轉的工人過程。

否則，如果所有任務都需要相同的時間來完成，則可以設置chunksize=len(iterable) // processes ，以便任務僅在所有工作程序中分配一次。 請注意，如果len(iterable) / processes有余數，這將產生比進程（進程+ 1）多一個任務。 這有可能嚴重影響您的總體計算時間。 在之前鏈接的答案中閱讀更多相關信息。

---

僅供參考，這是源代碼的一部分，如果沒有設置， Pool內部計算chunksize：

    # Python 3.6, line 378 in `multiprocessing.pool.py`
    if chunksize is None:
        chunksize, extra = divmod(len(iterable), len(self._pool) * 4)
        if extra:
            chunksize += 1
    if len(iterable) == 0:
        chunksize = 0