[英]Spark: Spark UI not reflecting the right executor count
我們正在運行一個Spark Streaming應用程序,在該應用程序中我們希望增加Spark使用的執行程序的數量.... so更新了spark-default.conf,將spark.executor.instances從28增加到40,但更改未反映在UI中
1 Master/Driver Node :
Memory :24GB Cores :8
4 Worker Nodes :
Memory :24GB Cores :8
spark.streaming.backpressure.enabled true
spark.streaming.stopGracefullyOnShutdown true
spark.executor.instances 28
spark.executor.memory 2560MB
spark.executor.cores 4
spark.driver.memory 3G
spark.driver.cores 1
注意 :重新啟動spark start-master.sh和start-slaves.sh,但沒有任何更改。在這方面的任何幫助將不勝感激。 這是yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdfs-name-node</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>22528</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>7</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>22528</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>500</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>512</value>
</property>
</configuration>
yarn-site配置為每個節點分配7個核心,因此總體上您擁有35個核心,這意味着您最多可以運行1個核心(驅動程序為1個核心)的34個執行程序。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.