MPI使用更多cpus花费更多时间

Question

我的并行程序是使用c ++和OpenMPI实现的。 当我测试它时，我发现如果我使用更多cpus它会花费更多时间。 怎么会发生这种情况？

我的代码结构如下：

开始

MPI::Init

if (rank == 0)
{ Read files } 

MPI::Bcast
MPI::Scatter

for (i=0; i<N;i++)
{  
   do something here
   MPI::Gather
   if(rank ==0)
   { save result}
}

MPI::Finallize()

结束

我很困惑。

Answer 1

扩展评论，而非回答：

@ 111111的评论，除非工作量足够大，否则并行化实际上可以减慢计算速度，这是正确的。 由于您只发布了代码的大纲，我们无法明确地将其诊断为您问题的根源，但跳转到这并不是一个不合理的结论。

通常，在任何情况下都不能指望串行程序的并行版本更快。 并行化有成本（有时称为“并行开销”）。 例如，在您的代码中，广播和分散操作会导致这种开销，您只能在并行代码中执行它们，如果它们很耗时，它们可以抵消（或更糟）更快计算多个CPU的好处。

我将继续猜测你对并行编程相对较新，并建议这个问题，即并行化的成本和收益，是你应该研究的代码和问题。 您绝对应该致力于开发一个良好的理解，一个由实验得出的数据支持，以及当您增加作业大小和增加处理器数量时程序性能如何扩展。

编辑

还有一个小问题：确保使用正确的例程来为您的程序计时。 我建议你使用mph_wtime() 。 我看到天真的程序员使用像utime这样的东西调用，并最终将所有N个处理器使用的时间加在一起; 您应该感兴趣的是从开始到结束（或2个兴趣点之间）的挂钟时间。

Answer 2

如果没有关于环境和正在运行的实际代码的更多信息，很难知道，但请注意MPI::Gather()和MPI::Bcast()是阻塞调用。 该过程必须等待所有进程达到这一点。

如果一个CPU非常慢 - 等待它到达Bcast() ，将减慢总时间。

Answer 3

对于你的程序，并行运行的代码的声明声明性能http://en.wikipedia.org/wiki/Amdahl's_law 。许多其他参数会影响性能，例如你的计算机体系结构，例如，如果你使用共享内存系统你的内存很重要，在你的代码中如果文件很大就会降低性能，在这种情况下你必须使用派生数据类型进行通信，网络速度对于分布式系统来说很重要，....