将进度条应用于 multiprocessing.Pool(threads).apply(function)

Question

我想为没有要传递的参数的 function 应用多处理池的进度条。 （将进度条应用于 multiprocessing.Pool(threads).apply(function) ）

accounts = []
def a():
    for account in accounts:
      while True:
         try:
             #tasks
         exept:
             continue
         break

def main():
    threads = int(input('Enter Threads: '))
    p= multiprocessing.Pool(threads)
    p.apply(a)

if __name__ == '__main__':
    main()

所以我想在一个进度条中检查所有线程中帐户的进度！

Answer 1

您当前的代码没有执行任何类型的多线程，因为apply方法会阻塞，直到a完成处理。 此外， a正在一个接一个地处理accounts的每个元素，而您真正想要做的是根据您的池中有多少线程并行处理accounts的元素。

在下面的代码中，function a现在只处理一个帐户。 主进程调用方法apply_async ，它不会阻塞，为accounts列表的每个元素指定一个回调function 在a完成处理并返回结果（它隐式返回None ）时调用。 此回调 function 只是将进度条前进一个单位。

from multiprocessing.pool import ThreadPool
import tqdm

def a(account):
    """ process account """
    import time
    # simulate doing something
    time.sleep(.5)

def update_progress_bar(result):
    # result is return code from a, which is None
    progress_bar.update(1) # one more task completed

def main():
    global progress_bar
    accounts = [1,2,3,4,5,6,7,8,9,10,11,12]
    num_threads = int(input('Enter number of threads: '))
    p = ThreadPool(num_threads)
    with tqdm.tqdm(total=len(accounts)) as progress_bar:
        for account in accounts:
            p.apply_async(a, args=(account,), callback=update_progress_bar)
        # wait for all submitted tasks to complete:
        p.close()
        p.join()

if __name__ == '__main__':
    main()