具有多个GPU的每个块的Cuda线程

Question

在大学项目中使用Cuda GPU编程，只是想知道如果您有2个GPU，GPU的块大小是否可能为1024，是否意味着该块大小增加了一倍？ 这会影响程序的实现吗？您需要单独访问GPU吗？

Answer 1

不，块大小不会加倍。 块大小通常与GPU上每个流式多处理器的最大活动扭曲数有关。 如果您打算在多个GPU上编写程序，则需要在每次调用CUDA运行时函数之前（通过cudaSetDevice() ）在代码中设置活动的GPU设备。 每个GPU都将分别并异步运行其功能。

Answer 2

我认为您要问的是每个块的最大线程数，该数量基于每个GPU。 这意味着，即使您有两个GPU，每个GPU每个块最多具有1024个线程，块大小仍保持不变。

因此，要回答您的问题，不，块大小不会增加一倍。 不幸的是，您仍然需要分别与每个GPU通信。

您可以在此处查看有关技术规范的更多信息，例如每个块的线程数。