如何在每个工作人员上延迟延迟队列以允许顺序执行进程？

Question

我需要工作人员一次处理一个任务，并在开始新任务之前完成当前过程。 我无法做到： （1）每个工人在任何时候最多都不能执行一项任务； （2）让工人在开始新任务之前先完成一个程序； 原子交易。

我在具有40个节点的群集上使用dask.distributed Client。 4个内核和15GB内存。 我处理的管道具有大约8-10GB的任务，因此在一项工作中有两个任务将导致应用程序失败。

我尝试使用dask-worker scheduler-ip:port --nprocs 1 --resources process=1和futures = [client.submit(func, f, resources={'process': 1}) for f in futures] dask-worker scheduler-ip:port --nprocs 1 --resources process=1分配资源和任务分配futures = [client.submit(func, f, resources={'process': 1}) for f in futures]但没有成功。

我的代码如下：

import dask
from dask.distributed import Client


@dask.delayed
def load():
  ...


@dask.delayed
def foo():
  ...


@dask.delayed
def save():
  ...

client = Client(scheduler-ip:port)

# Process file from a given path
paths = ['list', 'of', 'path']

results = []
for path in paths:
  img = load(path)

  for _ in range(n):
    img = foo(img)

  results.append(save(output-filename))

client.scatter(results)
futures = client.compute(results)

def identity(x):
  return x
client.scatter(futures)
futures = [client.submit(same, f, resources={'process': 1}) for f in futures]

client.gather(futures)

截至目前，我有两种情况：

1-我运行所有输入，并且应用程序以MemoryError终止

2-我运行一个子样本，但其运行如下：

加载（img-1）->加载（img-2）-> foo（img-1）->加载（img-3）-> ...->保存（img-1）->保存（img-2 ）-> ...

TLDR：这是我要对每个工作人员执行的操作：

加载（img-1）-> foo（img-1）->保存（img-1）->加载（img-7）-> ...

Answer 1

这里最简单的事情可能是只用一个线程启动您的工作程序

dask-worker ... --nthreads 1

然后那个工人一次只会开始一件事