并发内核和CUDA流的行为

Question

我想知道，如果我在一个流中运行一个包含10个1000个线程的块的内核来分析数据数组，然后启动一个需要10个1000个线程的10个块来分析第二个流的另一个数组的内核，那该怎么办？发生？

卡上的非活动线程是否将开始分析第二个阵列的过程？ 还是第二个流将被暂停直到第一个流必须完成？

谢谢。

Answer 1

一般而言，如果内核是从同一应用程序的不同（非默认）流中发出的，并且满足了执行并发内核的所有要求 ，并且有足够的可用资源（尤其是SM，我想这就是您的意思）意思是“非活动线程”来调度两个内核，那么第二个内核的某些块将沿着已经执行的第一个内核的块开始执行。 这可能发生在已经调度了第一个内核块的同一SM上，或者发生在其他未占用的SM上，或者发生在这两者上（例如，如果您的GPU有14个SM，则工作分配器将分配10个10个SM中的第一个内核，到那时剩下4个尚未使用。）

另一方面，如果您的内核具有需要32KB共享内存使用量的线程块，而您的GPU具有8个SM，则第一个内核的线程块将有效地“用完”这8个SM，而第二个内核的线程块则不会开始执行，直到第一个内核的某些线程块“耗尽”，即完成并退出使用。 那只是资源利用的一个例子，它可能会阻止并发执行。 当然，如果您要启动的内核每个线程块很多（例如100个或更多），则第一个内核将主要占用计算机，而第二个内核将在第一个内核基本完成后才开始执行。

如果在“ cuda并发内核”的右上角搜索，则会发现许多问题，这些问题突出了与观察并发内核执行相关的一些挑战。