SPARK_EXECUTOR_INSTANCES在SPARK SHELL，紗線客戶端模式下不起作用

Question

我是新來的。

嘗試以spark on yarn in yarn-client mode 。

SPARK VERSION = 1.0.2 HADOOP VERSION = 2.2.0

紗線簇具有3個活動節點。

在spark-env.sh中設置的屬性

SPARK_EXECUTOR_MEMORY = 1G

SPARK_EXECUTOR_INSTANCES = 3

SPARK_EXECUTOR_CORES = 1

SPARK_DRIVER_MEMORY = 2G

使用的命令：/ bin / spark-shell --master yarn-client

但是登錄到spark-shell ，它只注冊了1個執行程序，並為其分配了一些默認的內存。

我也通過spark-web UI確認了它只有1個執行程序，並且僅在主節點（ YARN resource manager node ）上也是如此。

INFO yarn.Client：用於啟動Spark Application的命令主：List（$ JAVA_HOME / bin / java，-server，-Xmx2048m，-Djava.io.tmpdir = $ PWD / tmp，-Dspark.tachyonStore.folderName = \\“ spark- fc6383cc-0904-4af9-8abd-3b66b3f0f461 \\“，-Dspark.yarn.secondary.jars = \\” \\“，-Dspark.home = \\” / home / impadmin / spark-1.0.2-bin-hadoop2 \\“， -Dspark.repl.class.uri = \\“ http://master_node:46823 \\”，-Dspark.driver.host = \\“ master_node \\”，-Dspark.app.name = \\“ Spark shell \\”，-Dspark .jars = \\“ \\”，-Dspark.fileserver.uri = \\“ http://master_node:46267 \\”，-Dspark.master = \\“ yarn-client \\”，-Dspark.driver.port = \\“ 41209 \\“，-Dspark.httpBroadcast.uri = \\” http://master_node:36965 \\“，-Dlog4j.configuration = log4j-spark-container.properties，org.apache.spark.deploy.yarn.ExecutorLauncher，--class ，notused，--jar，null，--args'master_node：41209'， -- executor -memory，1024，--executor-cores，1，--num-executors，3，1 >，/ stdout，2> ，/ stderr）

 ... ... ... 14/09/10 22:21:24 INFO cluster.YarnClientSchedulerBackend: Registered executor: 

ID為1 14/09/10 22:21:24信息存儲的Actor [akka.tcp：// sparkExecutor @ master_node：53619 / user / Executor＃1075999905] INFO storage.BlockManagerInfo：注冊塊管理器master_node：40205，具有589.2 MB RAM 14 / 09/10 22:21:25 INFO cluster.YarnClientClusterScheduler：YarnClientClusterScheduler.postStartHook完成14/09/10 22:21:25 INFO repl.SparkILoop：創建了spark上下文。Spark上下文可以用作sc。

並且在以任何並行度運行任何spark動作之后，它僅在該節點上串聯運行所有這些任務！

Answer 1

好吧，我這樣解決了。 我的集群上有4個數據節點

spark-shell --num-executors 4 --master yarn-client