我有一个本地集群。 如何使用 Client 对象向这个本地集群添加更多工作人员。

#1楼 票数:1

您不会使用 Client 对象执行此操作,而是使用 Cluster。 然后使用cluster.scale(...)

In [1]: from dask.distributed import Client, LocalCluster

In [2]: cluster = LocalCluster()

In [3]: client = Client(cluster)

In [4]: client
Out[4]: <Client: 'tcp://127.0.0.1:37971' processes=12 threads=96, memory=1.62 TB>

In [5]: cluster.scale(20)

In [6]: client
Out[6]: <Client: 'tcp://127.0.0.1:37971' processes=20 threads=160, memory=2.70 TB>

您还可以查看自适应缩放: https : //docs.dask.org/en/latest/setup/adaptive.html

  ask by Ayush Patidar translate from so

未解决问题?本站智能推荐:

1回复

DASK dataframe.to_csv 将文件存储在工作人员而不是本地

我对 DASK 很陌生,我正在尝试在私有云上设置分布式集群。 现在我有调度程序和一个工作程序,它们都在同一台机器上运行在同一个 Docker 容器中。 它们分别以dask-scheduler和dask-worker tcp://localhost:8786开始。 我正在从本地机器连接到调度程序。
2回复

dask 分布式:如何增加工作连接的超时时间? connect() 没有及时完成

OSError: Timed out trying to connect to 'tcp://127.0.0.1:40475' after 10 s: Timed out trying to connect to 'tcp:// 8.56.11:40475' after 10 s: connect(
1回复

可以在Dask Web UI中显示工作人员姓名吗?

我可以将工作程序添加到dasch-scheduler中,并且它们会出现在Web ui中,但是工作程序是按其IP地址列出的,而不是我给他们提供的名称。 当我创建工作程序(在Python脚本中)时,确实设置了名称: 当我运行print(json.dumps(dask_client.sc
1回复

我们如何在 dask 分布式中为每个工作人员选择 --nthreads 和 --nprocs?

我们如何在 Dask 分布式中为每个工作人员选择--nthreads和--nprocs ? 我有 3 个工人,2 个工人有 4 个内核,每个内核有一个线程,1 个工人有 8 个内核(根据每个工人的lscpu Linux 命令的输出)。
3回复

我们如何在通过 kubernetes 上的 helm 分布式运行的 dask 中为每个工作人员选择 --nthreads 和 --nprocs?

我正在 Dask 上运行一些 I/O 密集型 Python 代码,并希望增加每个工作线程的数量。 我已经部署了一个 Kubernetes 集群,它运行通过helm分发的 Dask。 我从工作器部署模板中看到, 工作器的线程数设置为 CPU 数,但我想将线程数设置得更高,除非这是反模式。 我怎么做?
1回复

本地Dask工作人员无法连接到本地调度程序

在OSX 10.12.6上运行Dask 0.16.0时,无法将本地dask-worker连接到本地dask-scheduler 。 我只是想遵循官方的Dask教程 。 重现步骤: 步骤1:运行dask-scheduler 步骤2:运行dask-worker 10.160.3
1回复

如何在每个工作人员上延迟延迟队列以允许顺序执行进程?

我需要工作人员一次处理一个任务,并在开始新任务之前完成当前过程。 我无法做到: (1)每个工人在任何时候最多都不能执行一项任务; (2)让工人在开始新任务之前先完成一个程序; 原子交易。 我在具有40个节点的群集上使用dask.distributed Client。 4个内核和15G
1回复

如何更新最初通过注册工作人员回调加载的 dask 工作人员容器上的设置?

所以我有 2 个带有 dask 工人设置的容器。 我将它们称为 main有 4 个工人和完整的应用程序 remote有另外 4 个工作人员,完整的应用程序代码,但没有运行完整的应用程序,只是工作人员代码。 我正在使用register_worker_callbacks()通过设置函数回调