如何從本地機器向遠程 Kubernetes 集群提交 Dask 作業

Question

我在 GCP 上使用 Kubernetes Engine 設置了一個 Kubernetes 集群。 我還使用 Helm 包管理器安裝了 Dask。 我的數據存儲在 GCP 上的 Google Storage 存儲桶中。

在我的本地機器上運行kubectl get services產生以下輸出

我可以使用外部 IP 打開儀表板和 jupyter 筆記本，沒有任何問題。 但是，我想開發一個工作流，我在本地機器上編寫代碼並將腳本提交到遠程集群並在那里運行。

我怎樣才能做到這一點？

我嘗試按照使用dask-remote 提交應用程序中的說明進行操作。 我還嘗試使用類型為 LoadBalancer 的kubectl expose deployment來kubectl expose deployment調度程序，盡管我不知道我是否正確執行了此操作。 非常感謝您的建議。

Answer 1

是的，如果您的客戶端和工作人員共享相同的軟件環境，那么您應該能夠使用公開可見的 IP 將客戶端連接到遠程調度程序。

from dask.distributed import Client
client = Client('REDACTED_EXTERNAL_SCHEDULER_IP')