使用Docker的Julia集群

Question

我正在尝试使用默认的SSHManager连接到Docker容器。 这些容器仅具有运行中的sshd，公钥身份验证和julia安装。

这是我的dockerfile：

FROM rastasheep/ubuntu-sshd
RUN apt-get update && apt-get install -y julia
RUN mkdir -p /root/.ssh
ADD id_rsa.pub /root/.ssh/authorized_keys

我正在使用以下容器运行容器：

sudo docker run -d -p 3333:22 -it --name julia-sshd julia-sshd

然后在主机中，使用julia repl，出现以下错误：

julia> import Base:SSHManager
julia> addprocs(["root@localhost:3333"])
stdin: is not a tty
Worker 2 terminated.
ERROR (unhandled task failure): EOFError: read end of file
Master process (id 1) could not connect within 60.0 seconds.
exiting.

我已经测试过可以通过ssh无需密码即可连接到容器。

我还测试了在julia repl中，我可以向群集中添加安装了julia的常规计算机，并且工作正常。

但是我无法使这两件事协同工作。 任何帮助或建议将不胜感激。

Answer 1

我建议您也将Master部署在Docker容器中。 它使您的环境轻松，完全可复制。

我正在研究一种按需在Docker容器中部署Workers的方法。 即，部署在容器中的Master可以进一步部署DockerizedJuliaWorker 。 它类似于https://github.com/gsd-ufal/Infra.jl，但假设Master和Workers在同一主机上运行，​​这使得事情变得不那么困难。

这是一项正在进行的工作，我计划在下周完成。 简而言之：

1）您将需要一个简单的DockerBackend和一个包装器来透明地运行容器，设置SSH并使用所有低级参数（即DockerizedJuliaWorker.jl文件）调用addprocs：

https://github.com/NaelsonDouglas/DistributedMachineLearningThesis/tree/master/src/docker

2）在此处阅读如何构建Docker映像（包含Dockerfile）：

https://github.com/NaelsonDouglas/DistributedMachineLearningThesis

如果您有任何改进建议，请告诉我。

最好，

安德烈·拉格（AndréLage）。