使用的YARN vCore：在YARN上運行Spark

Question

我正在使用以下配置在YARN上提交Spark應用程序

conf.set("spark.executor.cores", "3")
conf.set("spark.executor.memory", "14g")
conf.set("spark.executor.instances", "4")
conf.set("spark.driver.cores", "5")
conf.set("spark.driver.memory", "1g")

但是，在YARN Resource Manager UI上顯示的vCores used = 5 ，我期望vCores曾經是17（（4x3）+ 5 = 17），即執行者12和驅動程序5。 但它始終顯示等於executors + driver = 5 。

請幫助我理解這一點！ 提前致謝

Answer 1

在spark配置文檔中，您將看到以下內容：

Spark屬性主要可以分為兩種：一種與部署相關，例如“ spark.driver.memory”，“ spark.executor.instances”，在運行時通過SparkConf進行編程設置時，此類屬性可能不會受到影響；或者該行為取決於您選擇的集群管理器和部署模式，因此建議您通過配置文件或spark-submit命令行選項進行設置； 另一個主要與Spark運行時控件有關，例如“ spark.task.maxFailures”，可以用任何一種方式設置這種屬性。

您需要從spark-submit命令行（而不是代碼中）進行設置的大多數設置。 無論如何，這通常都是更好的做法，因此您可以使用不同的參數啟動作業，而無需重新編譯。

您想要以下內容：

spark-submit --num-executors 4 --executor-cores 3 --executor-memory 14g --driver-memory 1g --driver-cores 5 --class <main_class> <your_jar>