SCOOP - 如何让工作人员在继续之前等待根工作人员

Question

我在工作中使用 SCOOP（和 Python 3.6 - 无法更新）。 我需要所有工作人员执行计算，然后等待根节点执行缓慢的计算（ if __name__ == '__main__':中的代码），然后使用根节点计算产生的 dataframe 执行另一次计算。

我的问题是 SCOOP 立即启动所有工作人员，他们尝试异步运行if __name__ == '__main__':之外的所有代码，即使它在if块下方。 由于还没有 dataframe，他们抛出一个错误。

什么命令可以强制所有worker等待root worker完成一次计算，然后再继续运行代码rest？

---

我曾尝试使用scoop.futures.map 、 scoop.futures.supply和multiprocessing.managers进行试验，但均未成功。 我也尝试过使用multiprocessing.Barrier(8).wait()但它不起作用。

有一个scoop.futures.wait(futures)方法，但我不知道如何获得futures参数......

我有类似的东西：

import pandas as pd
import genetic_algorithm
from scoop import futures

df = pd.read_csv('database.csv') # dataframe is to large to be passed to fitness_function for every worker. I want every worker to have a copy of it!

if __name__ == '__main__':
    df = add_new_columns(df) # heavy computation which I just want to perform once (not by all workers)

df = computation_using_new_columns(df) # <--- !!! error - is executed before slow add_new_columns(df) finishes

def fitness_function(): ... # all workers use fitness_function() and an error is thrown if I put it inside the if __name__ == '__main__':

if __name__ == '__main__':
    results = list(futures.map(genetic_algorithm, df))

并使用python3 -m scoop script.py执行脚本，它会立即启动所有工作人员...

Answer 1

每个进程都有自己的memory空间，在主进程中修改dataframe不会影响到worker，需要在处理后使用某种初始化器将其传递给worker，这在主进程中似乎不可用SCOOP 框架，一个更灵活（但稍微复杂）的工具是 python 的内置multiprocessing.Pool模块。

import pandas as pd
import genetic_algorithm
from multiprocessing import Pool

def fitness_function(): ...

def initializer_func(df_from_parent):
    global df
    df = df_from_parent
    df = computation_using_new_columns(df)

if __name__ == '__main__':
    df = pd.read_csv(
        'database.csv')  
    # read the df in the main process only as it needs to be modified
    # before sending it to the workers

    df = add_new_columns(df)  # modify the df in the main process
    # create as much workers as your cpu cores, and passes the df to them, and have each worker
    # execute the computation_using_new_columns on it
    with Pool(initializer=initializer_func, initargs=(df,)) as pool:
        results = list(pool.imap(genetic_algorithm, df))  # now do your function

如果computation_using_new_columns需要在每个 worker 中执行，那么你可以将它保留在初始化程序中，但如果它只需要执行一次，那么你可以将它放在add_new_columns之后的if __name__ == "__main__"中。