如何使用cudaMemcpyPeer在无法使用P2P的不同进程中的GPU之间复制GPU数据？

Question

我想使用不支持对等（它们不在同一PCI根集线器上）的旧API，在不同进程的两个GPU之间复制数据。 但是，我在同步方面遇到麻烦。 据我了解，它们的基本步骤是：

（进程0，设备0）：

void * d_X;
cudaMalloc(&d_X, size);
// Put something into d_X;
cudaIpcMemHandle_t data;
cudaIpcGetMemHandle(&data, (void *)d_X);

->通过MPI_Send / MPI_Recv将地址和大小发送到进程1

（过程1，设备1）：

cudaSetDevice(1);
void * d_Y;
cudaMalloc(&d_Y, size);
cudaSetDevice(0); // Need to be on device 0 to copy from device 0

void * d_X;
cudaIpcOpenMemHandle(&d_X, data, cudaIpcMemLazyEnablePeerAccess);
cudaMemcpyPeer(d_Y, 1, d_X, 0, size);
cudaIpcCloseMemHandle(d_X);

这基本上是正确的吗？ 一旦确定这是正确的方法，我就需要确定如何正确进行同步，因为很明显我遇到了同步问题（基本上是复制过时的内存）。

我的GPU确实支持UVA，但cudaDeviceCanAccessPeer返回0。我实际上是在尝试编写一些适用于P2P的代码，但这是我遇到的麻烦。

Answer 1

我认为您所要求的是不可能的。

如果您阅读了cudaIPCOpenMemHandle的文档 （在任何情况下都必须将内存句柄从另一个进程转换为可在本地进程中使用的设备指针），唯一可能的标志是cudaIpcMemLazyEnablePeerAccess 。 如果您在不支持对等功能的设备上使用此标志运行此调用，则它将返回错误（根据我的测试，无论如何它应该很明显）。

因此，在过程A中，无法获得用于过程B中的设备分配的可用设备指针，除非该设备具有对等功能（或者除非该设备与进程A使用的设备位于同一设备上，否则该指针是在cuda simpleIPC示例代码中进行了演示）。

“后备”选项是在进程B中将数据从设备复制到主机，并使用普通的Linux IPC机制（例如，如simpleIPC示例代码所示的映射内存）使主机数据在进程A中可用。如果愿意，可以将其复制到进程A中的设备。

尽管这看起来很乏味，但是对于在同一过程中的两个设备，当这两个设备之间不可能进行P2P时，这恰恰是cudaMemcpyPeer所做的。 后备模式是通过主机登台缓冲区复制数据。