如何將tqdm與python多處理集成

Question

我正在創建一個新的python類，在其中嘗試集成多處理以及tqdm以說明進度。 我之所以走這條路，是因為我要打開非常大（> 1GB）的時間序列數據文件，將其加載到熊貓中，進行分組，然后將它們保存為鑲木地板格式。 每個數據文件可能需要幾分鍾來處理和保存。 多重處理極大地加快了處理速度。 但是，我目前對該過程沒有任何了解，並且我正在嘗試集成tqdm。

下面的代碼說明了一個簡單的示例。 在此代碼中，tqdm僅顯示將進程分配到池所花費的時間，但不會根據實際進程進行更新。

'''蟒蛇

import time
import multiprocessing
from tqdm import tqdm


class test_multiprocessing(object):

    def __init__(self, *args, **kwargs):
        self.list_of_results=[]
        self.items = [0,1,2,3,4,5,6,7,8,9,10]


    def run_test(self):
        print(f'Startng test')

        for i in range(1,5,1):
            print(f'working on var1: {i}')

            p = multiprocessing.Pool()

            for j in tqdm(self.items, desc='Items', unit='items', disable=False):
                variable3=3.14159
                p.apply_async(self.worker, [i, j,variable3], callback=self.update)

            p.close()
            p.join()
            print(f'completed i = {i}')
            print(f'')

    def worker(self, var1, var2, var3):
        result=var1*var2*var3
        time.sleep(2)
        return result

    def update(self, result_to_save):
        self.list_of_results.append(result_to_save)

if __name__ == '__main__':
    test1=test_multiprocessing()
    test1.run_test()

'''

在此示例中，進度條將幾乎立即顯示工作已完成，但實際上需要幾秒鍾

Answer 1

通過並發。未來與多處理，我找到了解決該問題的好方法。 Dan Shiebler對此寫了一個不錯的博客，並有一個很好的例子http://danshiebler.com/2016-09-14-parallel-progress-bar/

下面顯示了此策略的植入，它解決了我之前提出的問題

import time

from tqdm import tqdm
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor, as_completed

class test_multiprocessing(object):

    def __init__(self, *args, **kwargs):
        self.list_of_results=[]
        self.items = [0,1,2,3,4,5,6,7,8,9,10]


    def run_test(self):
        print(f'Startng test')

        for i in range(1,5,1):
            print(f'working on var1: {i}')

            variable_list=[]

            for j in self.items:
                variable3=3.14159
                variables = [i,j,variable3]
                variable_list.append(variables)

            with ThreadPoolExecutor(max_workers=1000) as pool:   # with ProcessPoolExecutor(max_workers=n_jobs) as pool:    
                futures = [pool.submit(self.worker, a) for a in variable_list]
                kwargs = {
                'total': len(futures),
                'unit': 'it',
                'unit_scale': True,
                'leave': True
                }

                #Print out the progress as tasks complete
                for f in tqdm(as_completed(futures), **kwargs):
                    pass

            out = []
            #Get the results from the futures. 
            for i, future in tqdm(enumerate(futures)):
                try:
                    self.update(future.result())
                except Exception as e:
                    print(f'We have an error: {e}')


    def worker(self, variables):
        result=variables[0]*variables[1]*variables[2]
        time.sleep(2)
        return result


    def update(self, result_to_save):
        self.list_of_results.append(result_to_save)

if __name__ == '__main__':
    test1=test_multiprocessing()
    test1.run_test()