spark-submit 到 docker 容器

Question

我使用這個存儲庫和相關文檔創建了一個 Spark 集群。

現在我試圖通過spark-submit在 Spark Master 的 Docker 容器內執行一個作業，所以我使用的命令是類似的：

/path/bin/spark-submit --class uk.ac.ncl.NGS_SparkGATK.Pipeline \
--master spark://spark-master:7077 NGS-SparkGATK.jar HelloWorld

現在的問題是我收到Failed to connect to master spark-master:7077

我嘗試了任何組合：容器 IP、容器 ID、容器名稱、本地主機、0.0.0.0、127.0.0.1，但我總是收到相同的錯誤。

而如果我使用--master local[*]應用程序工作。

我錯過了什么？

Answer 1

問題是使用主機名作為 spark://spark-master:7077

所以在 Spark Master 里面是這樣的：

SPARK_MASTER_HOST=`hostname`

/path/bin/spark-submit --class uk.ac.ncl.NGS_SparkGATK.Pipeline \
--master spark://$SPARK_MASTER_HOST:7077 NGS-SparkGATK.jar HelloWorld