Python 并行化，function，以一个可迭代和多个数据作为输入。 也许多重处理星图？

Question

我目前有以下循环，通过使用我的 function sample_features 计算每一列来创建矩阵。 function 输入一个索引，该索引是我的可迭代和多个数据集以及需要对所有 function 调用重复的参数。

def sample_features(train_data, train_rating, Item_vector, mu_U, Lambda_U, i, alpha, name='User'):
        if name=='User':
            idx=(train_data[:,0]==i)
            V_j = Item_vector[:,train_data[idx,1]]
        else: 
            idx=(train_data[:,1]==i)
            V_j = Item_vector[:,train_data[idx,0]]
        
        Lambda_i_star=Lambda_U + alpha*np.dot(V_j, V_j.T)
        Lambda_i_star_inv=np.linalg.inv(Lambda_i_star)
        mu_i_star=np.dot(Lambda_i_star_inv,(alpha*np.dot(train_rating[idx],V_j.T)+np.dot(Lambda_U,mu_U)))
        return multivariate_normal(mu_i_star, Lambda_i_star_inv)

for i in range(num_User):
        U_new[:,i]=sample_features(train_data, train_rating, Item_vector, mu_U, Lambda_U, i, alpha, name='User')
            
for j in range(num_Item):
        V_new[:,j]=sample_features(train_data, train_rating, U_new, mu_V, Lambda_V, j, alpha, name='Item')

尺寸：U_new (N x D) V_new & Item_vector (M x D) train_data (Rx2) train_rating (Rx1) mu_U & mu_V (D x 1) Lambda_U & Lambda_V (D x D) i & j & alpha (1x1)

我对并行化很陌生，因为我是数学专业的学生，而不是计算机科学专业的学生。 我研究了一下，似乎发现我应该使用多处理 package 中的 starmap() function，但我无法让它正常工作。

Answer 1

这里的问题围绕着 Python 如何处理多处理应用程序中的数据。 每个进程都存在于自己的地址空间中，这意味着进程之间不能直接共享变量。 如果您使用像multiprocessing.pool.starmap这样的 function，Python 将使用队列将每个 function 参数传输到工作进程。 这需要将数据转换为二进制格式（使用标准 pickle 模块），然后将其重新构造为 Python 个对象。 这可能会抵消您从多处理中获得的任何性能优势。

在你的情况下，在我看来你有相当大量的固定数据，即从一个步骤到下一个步骤没有变化的数据对象。 我在您的代码中看到的唯一两个例外是 i 和 j。 在这种情况下，最好用自己的固定 arguments 副本初始化每个工作进程。这些只需要在每个进程开始时传输一次，而不是每次调用。 然而，要做到这一点，需要一些小心。 下面的小程序展示了一个可能的框架。

import os
import multiprocessing as mp
from types import SimpleNamespace

_vars = SimpleNamespace()

def init_fixed(arg1, arg2):
    _vars.arg1 = arg1
    _vars.arg2 = arg2
    
def func(i, name):
    print(os.getpid(), i, name, _vars.arg1, _vars.arg2)
    return f"{name} {i}" 
    
def main():
    with mp.Pool(initializer=init_fixed, initargs=("arg1", "arg2")) as pool:
        i_result = pool.starmap(func, ((i, "name1") for i in range(10)))
        j_result = pool.starmap(func, ((j, "name2") for j in range(20, 40)))
    print(i_result, j_result)
    
if __name__ == "__main__":
    main()

Pool 构造函数采用关键字 arguments initializer和initargs ，您使用它们来传递 function 和一些 arguments。这将在每个进程中发生一次，因此您可以在此处设置不会更改的数据。 你必须把这些数据放在某个地方，在你的工作人员 function 可以找到的地方。 为此，我创建了一个全局_vars ，一个 SimpleNamespace，您可以在其上设置您想要的任何属性。

工作人员 function， func ，现在可以作为_vars的成员访问此数据。 我正在展示一个案例，其中使用星图 function 将两个变量传递给每个工作人员starmap在func中，您可以访问初始化数据以及 arguments。我还打印出操作系统的进程 ID，以便您了解如何工作分布在不同的进程中。

我不确定我是否足够了解您的要求以进一步采取行动。 从代码中的 arguments，您可能需要创建两个具有不同初始值设定项的池，但我不确定。

尽管代码看起来好像只有一个名为_vars的 object，但在运行时每个进程实际上都有自己的一组全局变量。 每个进程实际上都有自己唯一的_vars副本，并且每个进程对其他进程中的副本一无所知。 所有_vars对象都使用相同的数据进行初始化，因此可以正常工作。