时间片 GPU 调度器

Question

我看到了这个问题。

答案是

调度程序在最新的 MPS 文档中被描述为“时间片”调度程序，并且似乎正在发生的事情是，调度程序可以根据一些未发布的规则选择预-emp 正在运行的 kernel，以便它可以从另一个进程切换到另一个 kernel。
...
但是，如 MPS 文档中所述，当 A 和 B 源自非 MPS 情况下的不同进程时，来自 kernel A 的代码与来自 kernel B 的代码不在相同的时钟周期内执行。

我测试了一些机器学习程序（训练深度模型）。 运行单个进程和并行运行 3 个（相同的）进程（比如使用 bash）花费的时间几乎相同。 此外， nvidia-smi中的GPU-Util字段似乎显着增加了 go。 这些过程的输出是并行的。

这怎么可能与时间片？ 为什么时间不（大致）等于单次处理时间的 3 倍？

此外，如果单个上下文在单个时间点运行，为什么GPU-Util go 会启动？ 上下文切换不会产生更多的开销吗？

使用 MPS 似乎没有任何区别。

Answer 1

上下文/序言：

深度学习训练通常按一系列 epoch 进行，在 GPU 的情况下，每个 epoch 都会启动一系列内核，与该 epoch 中完成的工作相关联。

您已经提到 GPU 利用率在单进程情况下似乎较低，而在多进程情况下则较高。 那么让我们考虑一个例子。 假设 GPU 使用模式如下所示：

Epoch:     1   2   3   4   ...
Activity:  X   X   X   X   ...

“活动”表示 kernel 活动，旨在成为类似时间线或类似分析器的活动视图。 因此，与完全占用的活动时间线 ( XXXXXX.... ) 相比，我们可以观察到这个过程似乎使用了可用时间线的大约 1/4，我们假设 GPU 利用率测量报告的数字约为 25%。

现在假设我们有 3 个这样的进程。 GPU 是一个上下文切换机器。 即使我们忽略了 CUDA，GPU 也被设计用于交错处理一般图形渲染、着色器（程序）处理、视频处理和其他任务。 它用于交错工作的机制之一是在这些不同的任务之间进行上下文切换。 这允许您的桌面更新，一个 3D 图形应用程序 window 更新，以及一个视频 window 在您的图形桌面上全部更新，所有这些都在“同一时间”进行。 在一个非常简单的定义中，一个 GPU 会在当前任务没有待处理的工作，而其他任务有待处理的工作时上下文切换到另一个任务。

对于这些机器学习任务中的 3 个，将每个任务的X替换为一个数字以区分（ 1是任务 1 的活动， 2是任务 2 的活动，等等），即使不考虑时间片，上下文切换机制将允许 GPU 按如下方式处理工作：

Epoch:     1   2   3   4   ...
Activity:  123 123 123 123 ...

一些观察：

• 表观利用率现在从 25% 增加到 75%
• 考虑到“挂钟时间”，所有工作都在大致相同的时间内完成。

这两个观察结果都与您问题中的陈述一致。 您可能已经理解了所有这些，但阅读您问题的其他人可能会喜欢一些上下文。

问题：

这怎么可能与时间片？

在时间切片之前（根据我的观察，我认为是在 Pascal GPU 之前），GPU 使用了上下文切换的“协作”形式。 此处不需要详细的高度准确的描述。 相反，我们可以想象，例如，如果 3 个进程各自同时启动内核，那么 GPU 将首先处理来自进程 1 的 kernel 直到完成，然后是来自进程 2 的 kernel，然后是来自进程 2 的 kernel过程 3. 这就是我所说的“合作”上下文切换。 确切的规则并不重要，而是像我之前提到的那样处理工作：当给定的进程活动空闲时，另一个进程中有待处理的工作，GPU 将上下文切换到该进程。

这工作得很好，除非单个进程启动将运行很长时间的工作（例如单个内核），并且该工作在工作完成之前没有提供方便的上下文切换点（例如 kernel 边界）。 为了处理这些情况，较新的 GPU 可以使用“时间片”上下文切换而不是使用“合作”上下文切换作为差异的示例，如果 GPU 是时间片，并且当前正在运行来自进程 1 的 kernel ，它可能会在某个时候停止 kernel 1 的处理，上下文切换到进程 2，然后开始处理 kernel 2。它不需要等待“方便”的点，例如 kernel 边界。

然而，时间片并不意味着 GPU 将上下文切换到另一个进程，即使该进程没有 GPU 要做的工作。 我的相同定义仍然适用：GPU 将在另一个进程有工作要做时进行上下文切换。

因此，结合这些想法，上下文切换与时间片并不意味着我们对 3 个 DL 训练工作的看法需要有任何不同。 可以发生相同的交错，具有相同的结果/观察结果。

此外，如果单个上下文在单个时间点运行，为什么 GPU-Util go 会启动？

GPU 利用率是一段时间内活动的度量。 希望上面的时间线“图片”已经回答了这个问题。 为了论证，假设测量周期对应于单个纪元所用的时间。 在单进程情况下，我们观察到 25% 的利用率。 在 3 个进程的情况下，我们观察到 75% 的利用率，因为来自 3 个进程的工作可以由于上下文切换而交错。 时间切片的可能性并没有真正影响这种处理，一阶近似。

上下文切换不会产生更多的开销吗？

是的，上下文切换涉及开销，无论是否使用时间片。 然而，GPU 旨在快速进行上下文切换，因此上述图形工作负载可以以明显的并发进行。 对于 3 个进程，上下文切换开销可能非常低，可能在每个 epoch 几毫秒或更短的数量级（这实际上只是一个例子，不是具体的陈述）。 如果您的纪元处理时间大约为数百毫秒或更长，则上下文切换开销可能并不显着。

使用 MPS 似乎没有任何区别。

MPS 到一阶近似值（出于描述目的，而不是实际的行为陈述）允许来自多个进程的工作表现得好像它们是从单个进程提交的一样。 这带来了一些好处，包括：

• 上下文切换开销减少
• 来自不同进程的内核可以同时运行

因此，如果您的工作涉及如此多的上下文切换，并且每个进程提交的工作非常小，以至于上下文切换开销开始成为时间线的一个明显百分比，那么 MPS 将很有价值。

如果 scope 中提交的工作（内核）太小以至于它们没有完全占据 GPU，MPS 也将是有价值的，有些重复。重叠这些内核的能力可能会提高整体利用率。

在不进行任何测量的情况下，我们可以假设智能 GPU 运行时设计人员会将时间片间隔设计得比上下文切换开销/成本大得多。

我并不是说 GPU 需要 MPS 才能进行时间切片，或者 MPS 与底层上下文切换机制之间的任何关系（实际上）。 有或没有 MPS 时分片都可以激活。 然而，MPS 意味着在 MPS 设置中运行工作时，时间片和上下文切换可能在很大程度上是“不必要的”。 如果 MPS 的上述好处对您的特定工作负载没有意义/不相关，那么确实：

使用 MPS 似乎没有任何区别。