如何在集群上部署Spark-shell中使用的Scala文件？

Question

我将spark-shell用于学习目的，并为此创建了几个包含常用代码（例如类定义）的scala文件。 我通过在外壳程序中调用“：load”命令来使用这些文件。 现在，我想在纱簇模式下使用spark-shell 。 我使用spark-shell --master yarn --deploy-mode client启动它。 外壳启动时没有任何问题，但是当我尝试运行“：load”加载的代码时，出现执行错误。

 17/05/04 07:59:36 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as failed: container_e68_1493271022021_0168_01_000002 on host: xxxw03.mine.de. Exit status: 50. Diagnostics: Exception from container-launch.
Container id: container_e68_1493271022021_0168_01_000002
Exit code: 50
Stack trace: ExitCodeException exitCode=50:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:933)
        at org.apache.hadoop.util.Shell.run(Shell.java:844)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1123)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:225)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:317)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:83)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

我想我将必须将外壳程序中加载的代码共享给工作人员。 但是我该怎么做呢？

Answer 1

spark-shell对于快速测试很有用，但是一旦您对要执行的操作有了想法，然后将其组合成一个完整的程序，它的实用性就会直线下降。

您可能现在想继续使用spark-submit命令。 请参阅有关提交申请的文档https://spark.apache.org/docs/latest/submitting-applications.html

使用此命令，您将提供一个JAR文件而不是单个类文件。

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

<main-class>是<main-class>的Java样式路径，例如com.example.MyMainClass <application-jar>是包含项目中的类的JAR文件的路径，其他参数如我包含的链接中所述以上，但这两个是在向集群提供代码方面的两个主要区别。