Spark提交属性文件

Question

我尝试使用配置文件中指定的属性运行spark-submit失败。

我可以使用以下方式提交工作：

spark_home/spark-submit \
--class MyClass \
--master spark://my_master \
--files test.config \
--jars build/jars/MyProject.jar, build/jars/Config.jar

但是，当我将其复制到属性文件中时：

spark.class   MyClass
spark.master  spark://my_master
spark.files   test.config
spark.jars    build/jars/MyProject.jar, build/jars/Config.jar

尝试通过Spark-Submit使用此文件时，出现错误：java.lang.IllegalArgumentException：缺少应用程序资源

spark_home/spark-submit \
--properties-file  conf/properties.conf

我需要提供其他参数吗？ 我以为我使用了相同的论点，但似乎我仍然缺少一步。

Answer 1

正如Mark所评论的那样，似乎如果您未指定--jars和--class选项，则必须在package jar中包含用于spark-submit的参数。

您应该使用：

spark_home/spark-submit build/jars/MyProject.jar \
    --properties-file conf/properties.conf