MPI_Send() 和 MPI_Isend() 后跟 MPI_Wait() 有什么区别？

Question

我无法理解MPI_Send()和 MPI_Isend( MPI_Isend()后跟MPI_Wait()之间的区别。

当我们在MPI_Wait()之后使用 MPI_Wait( MPI_Isend()时，我们不是将它变成了阻塞调用吗？ 因为我们必须等到所有元素都复制到缓冲区中。

我知道这种配置（如下所示）可能会导致死锁

  P1--> MPI_Send() MPI_Recv()             
  P2--> MPI_Send() MPI_Recv()

但是这种配置（如下所示）也会导致死锁吗？

 P1--> MPI_Isend() MPI_Wait() MPI_Recv()             
 P2--> MPI_Isend() MPI_Wait() MPI_Recv()

Answer 1

当您使用MPI_Isend + MPI_Wait时，您可以将通信与计算重叠：

MPI_Isend(...) // Non blocking send

// Perform computation here (make sure you don't use the buffer you're sending!)

MPI_Wait(...)

上面，当您的数据被发送给收件人时，MPI_Isend 下面的代码将执行（因为 MPI_Isend 是非阻塞的）。 这允许您在通信发生时进行计算。 与此不同的是， MPI_Send()是不同的，因为它是阻塞的，因此您无法在通信发生时执行计算，就像上面使用 MPI_Isend 后跟 MPI_Wait 的代码一样。

Answer 2

TL;DR：您需要使用MPI_Wait （或使用MPI_Test来测试请求是否完成）来确保消息完成，并且可以再次安全地操作发送/接收缓冲区中的数据。

更详细的答案：

MPI_Isend

开始非阻塞发送

int MPI_Isend(const void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request)

让我们假设您使用MPI_Isend发送一个int数组而不调用MPI_Wait ； 在这种情况下，您不确定何时可以安全地修改（或释放 memory 的）该数组。 这同样适用于MPI_Irecv 。 尽管如此，调用MPI_Wait可确保从那时起读取/写入（或释放 memory 的）缓冲区，而不会出现未定义行为或数据不一致的风险。

在MPI_Isend期间，必须读取和发送缓冲区的内容（例如int的数组）； 同样，在MPI_Irecv期间，接收缓冲区的内容必须到达。 同时，可以将一些计算与正在进行的进程重叠，但是这种计算不能改变（或读取）发送/接收缓冲区的竞争。 然后调用MPI_Wait以确保从那时起数据发送/接收可以安全地读取/修改而没有任何问题。

我无法理解 MPI_Send() 和 MPI_Isend() 后跟 MPI_Wait() 之间的区别。

从这个SO Thread可以读到：

这些函数在通信完成之前不会返回（即它们阻塞）。 稍微简化一下，这意味着传递给 MPI_Send() 的缓冲区可以重复使用，因为 MPI 将其保存在某处，或者因为它已被目标接收。

最后：

我知道这种配置（如下所示）可能会导致死锁

P1--> MPI_Send() MPI_Recv()
P2--> MPI_Send() MPI_Recv()

但是这种配置（如下所示）也会导致死锁吗？

P1--> MPI_Isend() MPI_Wait() MPI_Recv()
P2--> MPI_Isend() MPI_Wait() MPI_Recv()

如果消息交换只发生在进程P1和P2之间，那么是的。 从语义MPI_Wait() ，调用 MPI_Isend MPI_Isend( ) 后调用 MPI_Wait() 与调用MPI_Send()相同。

P1向P2发送一条消息并等待该消息完成，但是P2向P1发送一条消息并等待。 由于每个进程都在相互等待，这会导致死锁。