为什么 Golang scheduler 使用两个 Queues（global run queue 和 local run queue）来管理 goroutine？

Question

我正在阅读 Golang 如何在内部管理应用程序中新创建的 goroutine。 而且我开始知道运行时调度程序使用队列来管理创建的 goroutines。

1. 全局运行队列：所有新创建的goroutine都放在这个队列中。

2. 本地运行队列：所有即将运行的 go 例程都分配到本地运行队列，调度程序将从那里将其分配给操作系统线程。

所以，我的问题是为什么调度程序使用两个队列来管理 goroutine。 为什么他们不能只使用全局运行队列，调度程序将从那里将 map 发送到操作系统线程。

Answer 1

首先，请注意这个博客是一个非官方的旧来源，因此对于当前版本的 Go（或任何版本，就此而言），不应将其中的信息视为完全准确。 您仍然可以从中学习，但 Go 调度程序会随着时间的推移而改进，这可能会使信息过时。 比如博客说“ Go scheduler is not a preemptive scheduler but a cooperating scheduler ”。 从Go 1.14 开始，这不再是真的，因为抢占被添加到运行时。 至于其他信息，我不保证它的准确性，但这里是对他们所说内容的解释。

---

阅读博文：

Go调度器中有两个不同的运行队列：全局运行队列（GRQ）和本地运行队列（LRQ）。 每个 P 都有一个 LRQ，它管理分配给在 P 的上下文中执行的 Goroutines。这些 Goroutines 轮流打开和关闭分配给该 P 的 M。GRQ 用于尚未分配给的 Goroutines一个P呢。 有一个将 Goroutines 从 GRQ 移动到 LRQ 的过程，我们将在后面讨论。

这意味着 GRQ 用于尚未分配给运行的 Goroutines，LRQ 用于已分配给 P 运行或已经开始执行的 Goroutines。 每个 Goroutine 都会在 GRQ 上启动，稍后加入一个 LRQ 开始执行。

这是之前引用的过程，其中 Goroutines 从 GRQ 移动到 LRQ：

在图 10 中，P1 没有更多的 Goroutines 可以执行。 但是在可运行的 state 中有 Goroutines，在 P2 的 LRQ 和 GRQ 中。 这是 P1 需要窃取工作的时刻。 窃取工作的规则如下。

 runtime.schedule() { // only 1/61 of the time, check the global runnable queue for a G. // if not found, check the local queue. // if not found, // try to steal from other Ps. // if not, check the global runnable queue. // if not found, poll.network. }

这意味着一个 P 将优先在自己的 LRQ 中运行 goroutines，然后是其他 P 的 LRQ，然后是 GRQ，最后是来自网络轮询。 也有很小的机会立即从 GRQ 立即运行一个 Goroutine。 通过拥有多个队列，它允许构建这个优先级系统。

为什么我们想要 goroutines 运行的优先级？ 它可能具有各种性能优势。 例如，它可以更好地利用 CPU 缓存。 如果你运行一个最近已经在运行的 Goroutine，它正在处理的数据更有可能仍在 CPU 缓存中，从而可以快速访问。 当您启动一个新的 Goroutine 时，它可能会使用或创建尚未在缓存中的数据。 然后，该数据将进入缓存，并可能驱逐另一个 Goroutine 使用的数据，这反过来会导致该 Goroutine 在再次恢复时变慢。 在病态情况下，这称为缓存抖动，会大大降低处理器的有效速度。

让 CPU 缓存有效工作可能是现代处理器实现高性能的最重要因素之一，但这并不是拥有这样一个队列系统的唯一原因。 一般来说，同时运行的逻辑进程越多（比如Go程序中的Goroutines），资源竞争就越多。 这是因为进程使用的资源在进程运行期间往往相当稳定。 换句话说，每次启动一个新进程往往会增加整体资源负载，而继续一个已经启动的进程往往会保持资源负载，而完成一个进程往往会减少资源负载。 因此，将已经运行的进程优先于新进程往往有助于将资源负载保持在可管理的范围内。

这类似于“完成你开始的事情”的实用建议。 如果你有很多任务要完成，一次完成一个任务会更有效，或者如果可以的话，多任务处理一小部分事情。 如果你只是不断开始新的任务而从未完成之前的任务，最终你会同时发生太多事情，以至于你会感到不知所措。