如何在项目外的Spark（Scala）中打包JAR？

Question

我一直在尝试设置Spark（Scala）和Jupyter笔记本。 设置很容易，除非您要添加数据库驱动程序之类的东西，在我的情况下尤其如此，这是一个复杂的JAR相互依赖的网络，我花了整整一天的时间来弄清楚。

我还安装了spark localy（Ubuntu 18.04），并遇到了相同的问题，找到了/jar文件夹，然后弄清楚了我需要使用哪个版本的驱动程序，库等。

所有这一切都在连接到redshift的Jupyter笔记本中引起了火花：@

Answer 1

如果要使用Scala for Spark，最好设置/使用Zeppelin笔记本环境而不是Jupyter。 当Zeppelin工作之后，创建一个新的笔记本，在一个空白单元格中，您可以使用％sh magic命令运行Unix风格的命令（如sudo apt-get）来安装所需的其他任何库。