Spark reparition（）函數增加了每個執行者的任務數量，如何增加執行者的數量

Question

我正在使用30gb ram（12核引擎）的IBM Server，我提供了所有可激發的核，但是它仍然僅使用1核，我在加載文件時嘗試過並成功通過命令

val name_db_rdd = sc.textFile("input_file.csv",12)

並能夠為啟動作業提供所有12個內核，但是我想將中間操作之間的操作拆分給執行者，以便它可以使用所有12個內核。

圖片描述

val new_rdd = rdd.repartition(12)

正如您在該圖中看到的那樣，只有1個執行程序正在運行，並且重新分區功能將數據拆分為一個執行程序執行的許多任務。

Answer 1

這取決於您如何啟動作業，但是您在啟動Spark作業時可能希望在命令行中添加--num-executors。

就像是

spark-submit
    --num-executors 10 \
    --driver-memory 2g \
    --executor-memory 2g \
    --executor-cores 1 \

可能適合您。

盡管它們提到的某些開關是特定於紗線的，但請查看“ 在紗線上運行火花”以獲取更多詳細信息。