如何在GaussianMixture中控制进程数

Question

GaussianMixture没有n_jobs参数。 同时，只要我适合模型

from sklearn.mixture import GaussianMixture as GMM
gmm = GMM(n_components=4,
          init_params='random',
          covariance_type='full',
          tol=1e-2,
          max_iter=100,
          n_init=1)
gmm.fit(X, y)

它跨越16个进程，并使用了我的16个CPU机器的全部CPU能力。 我不希望它那样做。

相比之下， Kmeans具有n_jobs参数，该参数在进行多次初始化（ n_init > 1）时控制多重处理。 在这里，多处理突如其来。

我的问题是它的来源以及如何控制它？

Answer 1

您正在观察基本代数运算方面的并行处理，并通过BLAS / LAPACK加快了处理速度。

修改它并不像设置n_jobs参数那么简单，它取决于您所使用的实现！

常见的候选人是ATLAS，OpenBLAS和英特尔的MKL。

我建议先检查使用哪个，然后采取相应措施：

import numpy as np
np.__config__.show()

可悲的是，这些事情可能会变得棘手 。 例如，MKL的有效环境可能如下所示（源） ：

export MKL_NUM_THREADS="2"
export MKL_DOMAIN_NUM_THREADS="MKL_BLAS=2"
export OMP_NUM_THREADS="1"
export MKL_DYNAMIC="FALSE"
export OMP_DYNAMIC="FALSE"

对于ATLAS来说，似乎是在编译时定义的。

根据这个答案 ，同样适用于OpenBLAS。

经过OP的测试，看来您可以为OpenMP设置环境变量了，甚至对开源候选Atlas和OpenBLAS（在其中可以选择编译时）进行行为修改的情况下：

export OMP_NUM_THREADS="4";