nVIDIA CC 2.1 GPU翘曲调度程序如何一次发出2条指令以进行翘曲？

Question

注意：该问题特定于nVIDIA Compute Capability 2.1设备。 以下信息是从CUDA编程指南v4.1中获得的：

在计算能力2.1的设备中，每个SM具有48个SP （内核），用于整数和浮点运算。 每个经线由32个连续的线程组成。 每个SM有2个Warp Scheduler 。 在每个指令发布时间，一个warp调度程序会选择一个准备好的线程warp，并为内核上的warp发出2条指令 。

我的疑问：

• 一个线程将在一个内核上执行。 设备如何在单个时钟周期或单个多周期操作中向线程发出2条指令？
• 这是否意味着2条指令应该相互独立？
• 那两条指令可以在内核上并行执行，也许是因为它们在内核中使用了不同的执行单元？ 这是否还意味着只有在2条指令执行完毕或其中一条指令执行完之后，下一个翘曲才会准备好？

Answer 1

这是指令级并行性（ILP） 。 从经线同时发出的指令必须彼此独立。 它们由SM指令调度程序发出，以分隔SM中的功能单元。

例如，如果经纱的指令流中有两个准备发布的独立FMAD指令，并且SM有两组可用的FMAD单元发布，则它们可以在同一周期内发布。 （指令可以以各种组合形式一起发布，但是我没有记住它们，因此在此不提供详细信息。）

SM 2.1中的FMAD / IMAD执行单元宽16个SP。 这意味着向16个宽执行单元之一发出warp（32线程）指令需要2个周期。 每个SM有16个执行单元（总共48个SP）中的三（3）个，以及特殊功能单元。 每个翘曲调度程序每个周期可以发出两个。

假设FMAD执行单元是pipe_A ， pipe_B和pipe_C 。 我们说在周期135，有两个独立的FMAD指令fmad_1和fmad_2在等待：

• 在周期135，指令调度程序将fmad_1的前半扭曲（16个线程） fmad_1给FMAD pipe_A ，并将pipe_A的前半扭曲fmad_2给FMAD pipe_B 。
• 在周期136， fmad_1的前半扭曲将移至FMAD pipe_A的下一个阶段，同样， fmad_2的前半扭曲将移至FMAD pipe_B的下一个阶段。 现在，warp调度程序将fmad_1的后半部分扭曲fmad_1到FMAD pipe_A ，并将pipe_A的后半部分扭曲fmad_2到FMAD pipe_B 。

因此，从同一经线发出2条指令需要2个周期。 但是正如OP所提到的，有两个Warp调度程序，这意味着整个过程可以同时针对另一个Warp的指令完成（假设有足够的功能单元）。 因此，最大发行率是每个周期2条翘曲指令。 注意，这是从程序员角度出发的抽象视图，实际的低级体系结构细节可能有所不同。

至于您关于下一次翘曲何时准备就绪的问题，如果还有更多不依赖于任何未完成（已发布但尚未退休）指令的指令，则可以在下一个周期中发布它们。 但是，一旦唯一可用的指令依赖于飞行中的指令，经纱将无法发出。 但是，这就是其他经纱出现的地方-SM可以为任何具有可用（非阻塞）指令的常驻经纱发出指令。 扭曲之间的这种任意切换提供了GPU依赖于高吞吐量的“延迟隐藏”。