無法在群集中使用SSH Dataproc Master

Question

我一直在嘗試使用jupyter存儲庫作為初始化腳本在Dataproc中創建集群。

但是當我嘗試SSH到master以便能夠訪問運行以下命令的Jupyter接口時：

gcloud compute ssh --zone=zone_name \
                   --ssh-flag="-D 10000" \
                   --ssh-flag="-N" \
                   --ssh-flag="-n" "cluster1-m" &

我得到錯誤：

權限被拒絕（公鑰）。 錯誤：（gcloud.compute.ssh）[/ usr / bin / ssh]退出，返回碼為[255]。

我可以確認所有ssh密鑰都是正常創建的。 然后我嘗試了這個其他選項：

gcloud compute ssh --zone=zone_name \
                   --ssh-flag="-D 10000" \
                   --ssh-flag="-N" \
                   --ssh-flag="-n" "will@cluster1-m" &

我可以通過ssh進入實例，這似乎可行，但是現在出現錯誤：

綁定：無法分配請求的地址channel_setup_fwd_listener_tcpip：無法偵聽端口：10000無法請求本地轉發。

為了創建集群，我使用了：

gcloud dataproc clusters create $CLUSTER_NAME \
--metadata "JUPYTER_PORT=8124,JUPYTER_CONDA_PACKAGES=numpy:pandas:scikit-learn:jinja2:mock:pytest:pytest-cov" \
--initialization-actions \
    gs://dataproc-initialization-actions/jupyter/jupyter.sh \
--bucket $BUCKET_NAME

我正在docker鏡像Debian 8.9（jessie）中運行它。

如果您需要任何其他信息，請告訴我。

Answer 1

如果您確認可以對群集執行普通的SSH，那么如果您剛剛獲得bind: Cannot assign requested address錯誤，則可能意味着您在當前計算機上已經使用端口10000了另一個SSH會話，其中本地端口轉發已經存在。 如果看到bind錯誤，則應始終首先嘗試其他本地端口，例如-D 12345 。 您可以使用top或任務管理器來檢查在某個仍在運行且占用端口10000的地方是否懸掛了ssh -D命令。