如何将命令行参数传递给spark-shell scala脚本？

Question

问题类似于将命令行参数传递给Spark-shell 。 但是，我没有得到我想要的答案，所以我在下面重述我的问题。

我想使用以下命令在spark-shell中运行scala脚本：

spark-shell -i file.scale

它没有任何程序参数，效果很好。 但是，如果我想为file.scale添加一些命令行参数。 引用它在scala shell中的方式http://alvinalexander.com/scala/scala-shell-script-command-line-arguments-args ，我尝试了以下方式：

 spark-shell -i file.scale args1 args2

我试图检索参数，但失败如下

 var input = args(0)
 var output = args(1)

错误消息显示参数args无法识别。

谁知道怎么做？

Answer 1

Scala和Spark-shell之间存在差异。 Spark-shell是scala的包装器并以分布式模式运行，因此参数传递与scala的工作方式不同。

要运行scala应用程序，请执行以下步骤

• 开发Scala应用程序
• 构建jar文件
• 运行spark-submit命令，该命令包含jar文件，类名和参数

由于应用程序必须在Spark中以分布式模式运行，因此您无法使用spark-shell将参数传递给scala脚本。