我们如何在 kubernetes 上通过 helm 运行的 dask 中为每个工作人员选择 --nthreads 和 --nprocs？

Question

我正在 Dask 上运行一些 I/O 密集型 Python 代码，并希望增加每个工作人员的线程数。 我已经部署了一个 Kubernetes 集群，该集群运行通过helm分发的 Dask。 我从工作人员部署模板中看到，工作人员的线程数设置为 CPU 数，但我想将线程数设置得更高，除非这是反模式。 我怎么做？

从这个类似的问题看来，我可以 ssh 到 dask 调度程序并使用dask-worker启动工作人员？ 但理想情况下，我可以通过 helm 配置工作资源，这样除了通过Client向调度程序提交作业外，我不必与调度程序交互。

Answer 1

Kubernetes 资源限制和请求应与提供给 dask-worker 命令的 --memory-limit 和 --nthreads 参数匹配。 有关更多信息，请点击链接1 （Dask 官方文档中描述的最佳实践）和2

Answer 2

Python 中的线程是一门细心的艺术，实际上取决于您的代码。 做一个简单的，-nprocs 几乎肯定应该是 1，如果你想要更多的进程，启动更多的副本。 对于线程数，首先记住 GIL 意味着一次只能有一个线程运行 Python 代码。 So you only get concurrency gains under two main sitations: 1) some threads are blocked on I/O like waiting to hear back from a database or web API or 2) some threads are running non-GIL-bound C code inside NumPy or friends . 对于第二种情况，您仍然无法获得比 CPU 数量更多的并发性，因为这只是一次运行的插槽数，但在某些情况下，第一种情况可以从比 CPU 更多的线程中受益。

Answer 3

Dask 的 helm 图表有一个限制，不允许在图表中设置 --nthreads。 我与 Dask 团队确认了这一点并提出了一个问题： https://github.com/helm/charts/issues/18708 。

同时，使用Dask Kubernetes进行更高程度的定制。