在 Amazon 的 ECS (Fargate) 中運行 dask scheduler 和 workers

Question

我嘗試在 Amazon 的 ECS 上運行一個調度程序和 worker docker 容器。 我正在使用這個例子： https://docs.dask.org/en/latest/setup/docker.html

調度程序完美運行，我從本地計算機成功連接到它：

distributed.scheduler - INFO - Remove client Client-0ae5b0fa 
distributed.scheduler - INFO - Close client connection: Client-0ae5b0fa 
distributed.scheduler - INFO - Remove client Client-0ae5b0fa 
distributed.core - INFO - Starting established connection 
distributed.scheduler - INFO - Receive client connection: Client-0ae5b0fa

我嘗試使用以下命令以相同的方式運行工作人員：

dask-worker tcp://SCHEDULER_PUBLIC_IP:8786

工作人員正在寫入這些日志並退出：

+ exec 'dask-worker tcp://SCHEDULER_PUBLIC_IP:8786'
/usr/bin/prepare.sh: line 30: /dask-worker tcp://SCHEDULER_PUBLIC_IP:8786: No such file or directory
+ '[' '' ']'
no environment.yml
+ '[' -e /opt/app/environment.yml ']'
+ echo 'no environment.yml'
+ '[' '' ']'
+ '[' '' ']'

我希望工作人員連接到調度程序，因為當我在 EC2 實例上嘗試時，相同的命令起作用了。 此外，我嘗試在所有端口都打開 tcp 連接的情況下執行此操作，但仍然沒有。

環境：

• Dask docker 容器版本：6bfa3b19b4be（2021 年 8 月 1 日）（最新）
• Fargate 版本：1.4.0（最新）
• 容器有 2 個 vCPU，4 Gb memory

Answer 1

問題是我的命令不是逗號分隔的。 它是：

dask-worker 1.1.1.1:8786

它應該是：

dask-worker,1.1.1.1:8786

為了讓 docker 理解這些是不同的 arguments：

命令["dask-worker","1.1.1.1:8786"]