CUDA常驻经纱的问题

Question

我已经使用CUDA了一个月，现在我想弄清楚要隐藏内存访问的延迟需要多少个扭曲/块。 我认为这与多处理器上的最大常驻扭曲有关。

根据CUDA_C_Programming_Guide（v-7.5）中的表13，每个多处理器的驻留扭曲最大为64。那么，我的问题是：驻留扭曲是什么？ 它是指那些具有从GPU内存中读取的数据并准备好由SP处理的扭曲吗？ 或引用可以读取内存数据的warp或准备好由SP处理的warp，这意味着除那些64条以外的其余warp既无法读取内存也无法被SP处理，直到这64个常驻warp中的一些完成。

Answer 1

驻留扭曲的最大数量是可以在多处理器上并行处理的扭曲的最大数量。 当warp通过调度程序进行调度并且已分配寄存器时，warp处于活动状态。

如果您实现了并行运行此数量的经线，则这是理论上的最大占用率（100％或1：1）。 如果不是，则入住率较低。

其他变形将不得不等待。

可能与SO上的这个问题有关 。

---

进一步的问题的编辑答案：

1. 扭曲

关于可以处理的最大扭曲数量：SM（流式多处理器）具有最大的处理核心，而GPU的SM数量有限。 即使此网络研讨会不是最新的体系结构，它也提供了一些很好的示例：

SM –具有多个处理核心的流式多处理器

每个SM包含32个处理核心

以单指令多线程（SIMT）方式执行

卡上最多16个SM，最多512个计算核心

和：

费米每个SM最多可具有48个活动经线（1536线程）

2. 处理经纱

首先，对于某些术语，它们不一定总是很正式，例如，请参阅Nvidia DevTalk的本主题 。

如本主题所述，一旦给定的warp随其资源被分配在SM上，它就处于活动状态。 然后可以是：

• 合格：可以发出操作
• 停滞：不能由于资源/数据依赖性

这是可能的，因为那里有一个SIMT体系结构，这意味着单指令多线程 。 您会发现许多关于此主题的阅读材料，如果您打算调整入住率，这些阅读材料将非常有用。