spark-submit命令中的spark.executor.cores和executor-cores有什么區別？

Question

spark-submit命令中使用的executor-cores和spark.executor.cores之間有什么區別嗎？

由於GC開銷內存錯誤，我的工作失敗了，所以我試圖增加內核和內存設置。

我要處理的總容量是兩個文件中的5000萬條記錄。

Answer 1

spark-submit命令中使用的executor-cores標志僅在Spark配置上設置spark.executor.cores設置。 因此它們具有相同的效果:)

您可以嘗試以下幾種方法：

1）您已經用YARN標記了問題，因此，如果您發現自己沒有在使用所有內核，則應該看看Apache Hadoop Yarn-內核的未充分利用

2）通過顯式設置spark.yarn.executor.memoryOverhead增加內存開銷時，可以解決YARN上的許多內存問題。 它將默認為max(386MB, 0.10* executorMemory) ，通常這是不夠的。