[英]The good way to set classpath for Spark YARN cluster mode?
我有一個Spark-Cassandra連接器應用程序,代碼的config部分是:
val conf = new SparkConf(true).setAppName("Some Name")
.set("spark.cassandra.connection.host", "127.0.0.1")
.set("spark.executor.extraClassPath", "/absolute_path_to/my.jar")
val sc = new SparkContext("spark://127.0.0.1:7077", "App", conf)
我提交:
spark-submit --class com.data.MyApp --master yarn --deploy-mode cluster \
--executor-cores 2 --num-executors 2 --executor-memory 4G \
--jars /absolute_path_to/my.jar ./target/scala-2.10/ds-spark-assembly-1.0.jar
我可以使它工作。 但是我可以在我的代碼中為spark.executor.extraClassPath
使用“相對路徑”嗎? 如果可以,該路徑是相對於所有群集節點中的位置的?
謝謝
我將其作為:
val conf = new SparkConf(true).setAppName("Some Name")
.set("spark.cassandra.connection.host", "127.0.0.1")
.setJars(Seq("my.jar"))
val sc = new SparkContext("spark://127.0.0.1:7077", "App", conf)
而且我不需要將--jar
選項放在spark-submit
。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.