如何更新最初通过注册工作者回调加载的 dask 工作者容器上的设置？

Question

所以我有 2 个装有 dask 工作人员的容器。 我将它们称为

• main有 4 名工人和完整的应用程序
• remote有另外 4 个工作人员，完整的应用程序代码，但没有运行完整的应用程序，只是工作人员代码。

我通过使用register_worker_callbacks()的设置 function 回调将带有设置的字典从main容器传递给每个工作人员

我这样做：

await client.register_worker_callbacks(lambda: setup_worker(log_config, settings))

和设置 function

def setup_worker(log_config, settings_object):
    setup_logging(log_config)
    settings.__dict__.update(settings_object.__dict__)

两个容器都有这段代码，所以它工作正常，没有问题。

但是我还有一个每天运行的 cronjob，它从外部源检索一个新的设置文件（以 JSON 格式），并从main容器上的settings object 重新加载/更新。

这个新更新的settings object 也需要传播和更新工人的设置，基本上我需要一种方法来再次调用setup_worker function 的最后一行，做同样的事情。 但是由于此时工作人员已经注册并连接，我不能重复使用相同的回调，可以吗？ 我将如何实现相同的目标？

Answer 1

它只需使用

await client.run(func, args)

如此处所述

它需要一个可调用的 / function 并在默认情况下不使用调度程序在所有工作人员上执行它。 因此，要更新通常由回调加载的相同设置，您可以在此处使用相同的 arguments 调用相同的 function。

所以我最终得到了两个这样的功能：

def setup_worker(log_config, settings_object):
    setup_logging(log_config)
    update_settings(settings_object)

def update_settings(settings_object):
    settings.__dict__.update(settings_object.__dict__)

设置回调的设置方式与以前相同

await client.register_worker_callbacks(lambda: setup_worker(log_config, settings))

但是当在main容器上更新设置时，我还有一个额外的 function 被调用，如下所示：

def update_settings():
    ...
    await client.run(update_settings, settings)