只有一个火花提交允许在火花纱群集环境中运行

Question

我建立了一个Spark-yarn集群环境，Spark（2.2.0）在Windows 7中; 纱线簇是hadoop 2.7.3。

我运行“spark-shell”来使用SparkSQL：

spark-shell --master yarn --deploy-mode client --conf spark.yarn.archive=hdfs://hadoop_273_namenode_ip:namenode_port/spark-archive.zip

现在一切都还可以，但是当我启动另一个“spark-shell”时，下面的消息似乎永远不会结束输出到控制台：

17/10/17 17:33:53 INFO Client: Application report for application_1508232101640_0003 (state: ACCEPTED) 

ResourceManager Web UI中的应用程序状态显示

[application status] ACCEPTED: waiting for AM container to be allocated, launched and register with RM

如果我关闭第一个“火花壳”，第二个就能很好地工作。

它似乎不允许同时（在我的环境中）多个spark-shell（spark-submit）。

如何突破限制？

Answer 1

等待分配AM容器

这是一种资源限制，所以你可以让你的第一个jb消耗更少的资源。

会发生的是，第一个作业消耗所有可用资源，到第二个作业到来时，没有任何内容被释放，因此第二个作业必须等待资源可用。

这就是为什么当你关闭第一个shell时，另一个将启动。