java.util.NoSuchElementException：spark.executor.cores

Question

我試圖用此代碼計算每個執行程序中的內核數：

sqlContext.sparkContext.getConf.get("spark.executor.cores").toInt

但是，我收到此錯誤：

spark.executor.cores
java.util.NoSuchElementException: spark.executor.cores
    at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:193)
    at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:193)
    at scala.Option.getOrElse(Option.scala:120)

為什么會失敗？

Answer 1

這工作：

sqlContext.sparkContext.getConf.getInt("spark.executor.cores", -1)