如何将任务分配给特定的CPU核心？

Question

我在tensorflow中阅读了distributed devices材料，可以将训练分配给特定的CPU核心。

我们可以将任务/线程分配给CPU内核以实现并发或并行处理吗？

with tf.device("/job:ps/task:0"):
  weights_1 = tf.Variable(...)
  biases_1 = tf.Variable(...)

with tf.device("/job:ps/task:1"):
  weights_2 = tf.Variable(...)
  biases_2 = tf.Variable(...)

Answer 1

您可以获取python进程的当前pid并使用第三方实用程序（如taskset）将其分配给CPU核心。

不太了解tensorflow，但我认为GIL将在这里发挥作用。你将不得不使用多处理并将每个进程分配给一个不同的核心。

Answer 2

您可以将特定的进程线程绑定到任意核心（假设您使用的是linux）。 这不仅适用于python，也适用于任何进程。 我制作了一个python脚本来展示你如何做到这一点。

你可以通过ps命令获取线程ID：[user @ dev~] $ ps -Lo pid，％cpu，lwp -p {pid}输出给我：

  PID %CPU   LWP
28216 98.0 28216
28216  0.0 28217
28216  0.0 28218

这里28216是进程的PID，而你可以看到在一个简单的python脚本中运行其他线程。

现在，您可以通过taskset将线程分配给特定核心

taskset -cp 0-5 28218

它将显示以下输出：

pid 28218's current affinity list: 0-11
pid 28218's new affinity list: 0-5

然后，您可以观察到某些线程绑定到不同的CPU集：

[user@host ~]$ taskset -cp 28218
pid 28218's current affinity list: 0-5
[user@host ~]$ taskset -cp 28217
pid 28217's current affinity list: 0-11