[英]How to submit a Scala job to Spark?
我有一个Pythons脚本,我可以通过以下方式提交给Spark:
/opt/spark/bin/spark-submit --master yarn-client test.py
现在,我尝试以相同的方式提交Scala程序:
/opt/spark/bin/spark-submit --master yarn-client test.scala
因此,我收到以下错误消息:
Error: Cannot load main class from JAR file:/home/myname/spark/test.scala
Run with --help for usage help or --verbose for debug output
Scala程序本身只是一个Hello World程序:
object HelloWorld {
def main(args: Array[String]): Unit = {
println("Hello, world!")
}
}
我究竟做错了什么?
对于初学者,您必须创建一个jar文件。 您不能简单地提交Scala源代码。 如果有疑问,请参阅sbt入门 。
之后只需添加一个指向HelloWorld
的class
参数。 假设没有包裹:
/opt/spark/bin/spark-submit --master yarn-client --class "HelloWorld" path_to.jar
这取决于您使用的群集模式。
看看通用命令
./bin/spark-submit \
--class <main-class>
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
对于纱线客户,
/opt/spark/bin/spark-submit \
--class "HelloWorld" your_jar_with_scala_file \
--master yarn-client
查看Spark 文档以便更好地理解。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.