在Spark中使用Scala脚本

Question

我们计划在Spark上使用Scala进行计算。 只想知道在Spark执行Scala的最佳方法是什么？ Scala as Script （或Scala as Application 。 这两种方法之间有什么优点 / 缺点 ？

如前所述这里就可以执行Scala as Script 。 我试图跳过使用sbt的编译过程，以便可以像使用Python一样将Scala用作脚本

Answer 1

我想您所说的scala是脚本，scala REPL带有spark（spark-shell），而scala应用程序是sbt或maven打包的标准应用程序。

• 使用scala shell（ spark-shell ）测试您的算法/实现。 因此，应将其用作登台阶段。
• 测试完实现后，应将其放入独立的应用程序中，打包并释放“胖罐”，该罐可以通过使用spark-submit

希望这足够清楚