我的GPU有2个多处理器，每个处理器具有48个CUDA内核。 这是什么意思？

Question

我的GPU有2个多处理器，每个处理器具有48个CUDA内核。 这是否意味着我可以并行执行96个线程块？

Answer 1

这归结为语义。 “执行”和“并行运行”的真正含义是什么？

从根本上讲，拥有96个CUDA内核实际上意味着您每个内核时钟周期的潜在吞吐量为96个计算结果。

核心主要是算术逻辑单元（ALU），它执行基本的算术和逻辑运算。 除了访问ALU之外，线程还需要其他资源（例如寄存器，共享内存和全局内存）来运行。 GPU将保持许多线程处于“运行中”状态，以充分利用所有这些资源。 “运行中”的线程数通常会比内核数高得多。 一方面，可以将这些线程视为“并行执行”，因为它们同时都在消耗GPU上的资源。 但是另一方面，它们中的大多数实际上正在等待某些东西，例如数据从全局内存中到达，或者算术结果通过内核中的管道。 GPU将正在等待某些东西的线程放到“后燃烧器”上。 他们正在消耗一些资源，但是它们确实在运行吗？ :)

Answer 2

不，不是。

从CUDA C编程指南的第4章：

对于给定内核，可以在多处理器上驻留并一起处理的块和扭曲的数量取决于内核使用的寄存器和共享内存的数量以及多处理器上可用的寄存器和共享内存的数量。 每个多处理器还具有最大数量的驻留块和最大数量的驻留线程。 这些限制以及多处理器上可用的寄存器和共享内存的数量是设备计算能力的函数，并在附录F中给出。如果每个多处理器没有足够的寄存器或共享内存来处理至少一个块， ，内核将无法启动。

在以下位置获取指南： http : //developer.download.nvidia.com/compute/DevZone/docs/html/C/doc/CUDA_C_Programming_Guide.pdf

要检查特定设备的限制，请从SDK编译并执行cudaDeviceQuery示例。

到目前为止，在所有计算功能中，每个多处理器的最大驻留块数相同，并且等于8。

Answer 3

并发执行的线程数取决于您的代码和CUDA设备的类型。 例如，费米为每个流多处理器有2个线程调度程序，并且对于当前CPU时钟，将为计算或内存负载或超越函数计算调度2个半周期。 当一个半扭曲的等待负载或执行的超越功能时，CUDA内核可能执行其他任何操作。 因此，您可以在内核上获得96个线程，但是如果您的代码可以得到它。 并且，当然，您必须有足够的内存。