只有一個火花提交允許在火花紗群集環境中運行

Question

我建立了一個Spark-yarn集群環境，Spark（2.2.0）在Windows 7中; 紗線簇是hadoop 2.7.3。

我運行“spark-shell”來使用SparkSQL：

spark-shell --master yarn --deploy-mode client --conf spark.yarn.archive=hdfs://hadoop_273_namenode_ip:namenode_port/spark-archive.zip

現在一切都還可以，但是當我啟動另一個“spark-shell”時，下面的消息似乎永遠不會結束輸出到控制台：

17/10/17 17:33:53 INFO Client: Application report for application_1508232101640_0003 (state: ACCEPTED) 

ResourceManager Web UI中的應用程序狀態顯示

[application status] ACCEPTED: waiting for AM container to be allocated, launched and register with RM

如果我關閉第一個“火花殼”，第二個就能很好地工作。

它似乎不允許同時（在我的環境中）多個spark-shell（spark-submit）。

如何突破限制？

Answer 1

等待分配AM容器

這是一種資源限制，所以你可以讓你的第一個jb消耗更少的資源。

會發生的是，第一個作業消耗所有可用資源，到第二個作業到來時，沒有任何內容被釋放，因此第二個作業必須等待資源可用。

這就是為什么當你關閉第一個shell時，另一個將啟動。