如何並行並行處理大量項目，python

Question

我在使用python進行計算時遇到了瓶頸：我需要整理一個大列表（ ~10^9元素）。 當前實施：

import random
random.shuffle(list)

使用這種方法，僅涉及一個核心。 是否可以並行地整理大型列表？

Answer 1

您可以檢查Process類，可以通過以下方式舉例說明：

import random
from multiprocessing import Process


def worker_func(variable_1):
# your code

random.shuffle(list_single)

if __name__ == '__main__':
#Create a process list 
process_list = list()

pid = os.getpid()
print('Main Process is started and PID is: ' + str(pid))

#Start Process
list_example = [[1,2,3], [4, 5, 6], [7, 8, 9]]
for list_single in list_example:
    p = Process(target=worker_func, args=(list_single, ))
    p.start()
    child_pid = str(p.pid)
    print('PID is:' + child_pid)
    process_list.append(child_pid)
    child = multiprocessing.active_children()

while child != []:
    time.sleep(1)
    child = multiprocessing.active_children()

如果要並行運行此數據，則可以使用多線程或多處理 。 您應該定義您的輔助函數並在過程中調用它。