CPU 上的 MPI-2 与 GPU

Question

我正在使用 MPI-2 并行化代码。 当我使用 8 核处理器时，它正在成功加速。

我只是想知道如果我将 GPU 用于相同目的而不是 CPU 会产生什么影响？ 根据我目前的研究，OpenMPI 与 GPU 兼容，只有当处理器间通信比 CPU 多时，加速才会更好。 有没有人尝试过，或者对此有任何意见？

Answer 1

GPU 并行化与 MPI 并行化是一个完全不同的方向，因为 GPU 线程不能像 MPI 等级一样进行 MPI 调用——它们甚至不是真正需要的线程。 不过，您可以通过在 MPI 程序的每个等级中调用 GPU 代码来组合它们。