如何在 Linux 終端中運行 spark scala 程序？

Question

我在 Scala 中編寫了一個 spark 程序。 現在我想在終端中運行我編寫的腳本。 在 pyspark 中，我將 spark-submit 用於 python 文件。 現在我想為我的 Scala 程序做同樣的事情。 我不想使用 Intellij 或在 spark-shell 中編寫我的程序。 我只想在編輯器中編寫我的代碼並通過在終端中使用命令來運行它。 那可能嗎？ 先感謝您

Answer 1

為您的代碼創建一個 JAR 文件（jar 名稱為HelloWorld.jar ） say 。 您可以使用 HDFS 或本地路徑，如下例所示。

您可以在以下命令中添加很多選項，您可以在 philantrovert 在評論中給出的 url 中找到這些選項。

在本地模式下運行。

spark-submit --class path.to.YourMainClass  --master local[*] /path/to/your/jar/HelloWorld.jar

以集群模式運行。

spark-submit --deploy-mode cluster --class path.to.YourMainClass  --master yarn hdfs://nameservice1/hdfsPath/to/your/jar/HelloWorld.jar