Scala Spark Cassandra安装

Question

1. 有多少种方法可以运行Spark？ 如果仅在build.sbt中声明依赖项，则应该下载Spark并运行它？ 但是，如果我想在本地运行Spark（下载Spark tar文件，winutils ...），如何在scala代码中指定要针对本地Spark运行代码而不是针对IntelliJ中下载的依赖项运行代码？

2. 为了将Spark连接到Cassandra，我是否需要在本地安装Spark？ 我读到某处无法从“以编程方式” Spark连接到本地Cassandra数据库

Answer 1

1）Spark以一种有点奇怪的方式运行，有您的应用程序（Spark驱动程序和执行器），还有资源管理器（Spark Master / Workers，Yarn，Mesos或Local）。

在您的代码中，您可以通过将master指定为local或local[n]来针对进程内管理器（本地）运行。 本地模式不需要安装Spark，因为它将在您正在运行的过程中自动设置。 这将使用您下载的依赖项。

要针对在本地运行的Spark Master运行，请使用指向您本地特定Spark Master实例的spark://网址。 请注意，这将使执行程序JVMS与您的应用程序分开启动，从而需要分发应用程序代码和依赖项。 （其他资源管理器有自己的标识URL）

2）您不需要“资源管理器”即可从Spark连接到C *，但是此功能基本上是用于调试和测试的。 为此，您将使用local主URL。 正常使用Spark时应使用外部资源管理器，因为如果没有外部资源管理器，则无法分发系统。

有关更多Spark Spark Cassandra示例，请参见

https://github.com/datastax/SparkBuildExamples