MPI 不以请求的线程数运行

Question

我正在尝试运行以下示例 MPI 代码，该代码启动 20 个线程并让这些线程忙碌一段时间。 但是，当我使用nmon或top之类的工具检查 CPU 利用率时，我发现只使用了一个线程。

#include <iostream>
#include <thread>
#include <mpi.h>
using namespace std;

int main(int argc, char *argv[]) {
    int provided, rank;
    MPI_Init_thread(&argc, &argv, MPI_THREAD_FUNNELED, &provided);
    if (provided != MPI_THREAD_FUNNELED)
        exit(1);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);

    auto f = [](float x) {
        float result = 0;
        for (float i = 0; i < x; i++) { result += 10 * i + x; }
        cout << "Result: " << result << endl;
    };

    thread threads[20];
    for (int i = 0; i < 20; ++i)
        threads[i] = thread(f, 100000000.f); // do some work
    for (auto& th : threads) 
        th.join();

    MPI_Finalize();
    return 0;
}

我使用mpicxx编译此代码： mpicxx -std=c++11 -pthread example.cpp -o example并使用mpirun运行它： mpirun -np 1 example 。

我正在使用使用 posix 线程支持编译的 Open MPI 版本 4.1.4（遵循这个问题的解释）。

$ mpicxx --version
g++ (Ubuntu 9.4.0-1ubuntu1~20.04.1) 9.4.0
$ mpirun --version
mpirun (Open MPI) 4.1.4
$ ompi_info | grep -i thread
Thread support: posix (MPI_THREAD_MULTIPLE: yes, OPAL support: yes, OMPI progress: no, ORTE progress: yes, Event lib: yes)
   FT Checkpoint support: no (checkpoint thread: no)
$ mpicxx -std=c++11 -pthread example.cpp -o example
$ ./example

我的 CPU 有 10 个内核和 20 个线程，并且在所有 20 个线程上运行没有 MPI 的上面的示例代码。 那么，为什么带有 MPI 的代码不能在所有线程上运行呢？

我怀疑我可能需要对MPI bindings做一些事情，我看到在同一主题（ 1 、 2 ）的一些答案中提到了这一点，但其他答案完全排除了这些选项，所以我不确定这是否是正确的方法。

Answer 1

mpirun -np 1./example为您的程序分配一个核心（因此 20 个线程结束时间共享）：这是 Open MPI 的默认行为（例如，当使用-np 1或-np 2运行时，每个 MPI 进程 1 个核心。

./example （例如 singleton 模式）应该使用所有可用的内核，除非您已经在一个子集上运行。

如果您想将所有可用内核与mpirun一起使用，您可以

mpirun --bind-to none -np 1 ./example