Scala Spark Cassandra安裝

Question

1. 有多少種方法可以運行Spark？ 如果僅在build.sbt中聲明依賴項，則應該下載Spark並運行它？ 但是，如果我想在本地運行Spark（下載Spark tar文件，winutils ...），如何在scala代碼中指定要針對本地Spark運行代碼而不是針對IntelliJ中下載的依賴項運行代碼？

2. 為了將Spark連接到Cassandra，我是否需要在本地安裝Spark？ 我讀到某處無法從“以編程方式” Spark連接到本地Cassandra數據庫

Answer 1

1）Spark以一種有點奇怪的方式運行，有您的應用程序（Spark驅動程序和執行器），還有資源管理器（Spark Master / Workers，Yarn，Mesos或Local）。

在您的代碼中，您可以通過將master指定為local或local[n]來針對進程內管理器（本地）運行。 本地模式不需要安裝Spark，因為它將在您正在運行的過程中自動設置。 這將使用您下載的依賴項。

要針對在本地運行的Spark Master運行，請使用指向您本地特定Spark Master實例的spark://網址。 請注意，這將使執行程序JVMS與您的應用程序分開啟動，從而需要分發應用程序代碼和依賴項。 （其他資源管理器有自己的標識URL）

2）您不需要“資源管理器”即可從Spark連接到C *，但是此功能基本上是用於調試和測試的。 為此，您將使用local主URL。 正常使用Spark時應使用外部資源管理器，因為如果沒有外部資源管理器，則無法分發系統。

有關更多Spark Spark Cassandra示例，請參見

https://github.com/datastax/SparkBuildExamples