如何將命令行參數傳遞給spark-shell scala腳本？

Question

問題類似於將命令行參數傳遞給Spark-shell 。 但是，我沒有得到我想要的答案，所以我在下面重述我的問題。

我想使用以下命令在spark-shell中運行scala腳本：

spark-shell -i file.scale

它沒有任何程序參數，效果很好。 但是，如果我想為file.scale添加一些命令行參數。 引用它在scala shell中的方式http://alvinalexander.com/scala/scala-shell-script-command-line-arguments-args ，我嘗試了以下方式：

 spark-shell -i file.scale args1 args2

我試圖檢索參數，但失敗如下

 var input = args(0)
 var output = args(1)

錯誤消息顯示參數args無法識別。

誰知道怎么做？

Answer 1

Scala和Spark-shell之間存在差異。 Spark-shell是scala的包裝器並以分布式模式運行，因此參數傳遞與scala的工作方式不同。

要運行scala應用程序，請執行以下步驟

• 開發Scala應用程序
• 構建jar文件
• 運行spark-submit命令，該命令包含jar文件，類名和參數

由於應用程序必須在Spark中以分布式模式運行，因此您無法使用spark-shell將參數傳遞給scala腳本。