簡體   English   中英

Hadoop YARN上的Spark-執行器丟失

[英]Spark on Hadoop YARN - executor missing

我有3台運行Hadoop和Spark-1.5.2的macOS計算機集群(盡管與Spark-2.0.0一樣,存在相同的問題)。 使用“ yarn”作為Spark主URL,我遇到了一個奇怪的問題,其中任務僅分配給3台計算機中的2台。

基於Hadoop儀表板(主服務器上的端口8088),很明顯,所有3個節點都是集群的一部分。 但是,我運行的任何Spark作業僅使用2個執行程序。

例如,這是長時間運行JavaWordCount示例的“執行程序”選項卡: 在此處輸入圖片說明 “ batservers”是大師。 應該有一個附加的從服務器“ batservers2”,但它並不存在。

為什么會這樣呢?

請注意,除了為YARN資源管理器和節點管理器提供額外內存的規定外,我的YARN或Spark(或就此而言,HDFS)配置都沒有異常。

值得注意的是,只需要詳細查看spark-submit幫助消息即可找到答案:

僅限紗線:

...

--num-executors NUM要啟動的執行程序數( 默認值:2 )。

如果我在spark-submit命令中指定--num-executors 3 ,則使用第3個節點。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM