無法連接到遠程系統上的Spark

Question

我正在嘗試通過Java App連接到遠程系統上的Spark Master

我在用

<dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.0.1</version>
</dependency>

和代碼

 {
        SparkSession sparkSession = SparkSession.builder().
                           master("spark://ip:7077")
                          .appName("spark session example")
                          .getOrCreate();
        JavaSparkContext sc = new JavaSparkContext(sparkSession.sparkContext());
    }

得到

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
    at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:713)
    at org.apache.spark.sql.SparkSession$Builder.master(SparkSession.scala:766)
    at com.mobelisk.spark.JavaSparkPi.main(JavaSparkPi.java:9)

另外，如果我更改為

<dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            **<version>2.0.1</version>**
        </dependency>

在同一程序上

引起原因：java.lang.RuntimeException：java.io.InvalidClassException：org.apache.spark.rpc.netty.RequestMessage; 本地類不兼容：流classdesc serialVersionUID = -2221986757032131007，本地類serialVersionUID = -5447855329526097695

在遠程的Spark-shell中

Spark上下文可作為“ sc”使用（主=本地[*]，應用程序ID =本地1477561433881）。 Spark會話可作為“火花”使用。 歡迎使用____ __ // / _ _____ / / _ \\ / _ / _`/ /' / / / .__ / _， / / / / _ \\版本2.0.1 / /

使用Scala 2.11.8版（Java HotSpot™64位服務器VM，Java 1.8.0_101），鍵入表達式以對其求值。 輸入：help以獲得更多信息。

由於我對這一切還很陌生，所以我無法在程序中找出問題

Answer 1

我想出了辦法，以防萬一有人要遵循類似的方法將其發布。

我添加了

<groupId>com.datastax.spark</groupId>
            <artifactId>spark-cassandra-connector_2.10</artifactId>
<version>2.0.0-M3</version>

與scala庫2.10.6一起提供

但是在spark-core中已經存在一個scala庫2.11.8

所以我不得不排除像這樣的早期

<dependency>
            <groupId>com.datastax.spark</groupId>
            <artifactId>spark-cassandra-connector_2.10</artifactId>
            <version>2.0.0-M3</version>
            <exclusions>
                <exclusion>
                    <artifactId>scala-library</artifactId>
                    <groupId>org.scala-lang</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>scala-reflect</artifactId>
                    <groupId>org.scala-lang</groupId>
                </exclusion>
            </exclusions>
</dependency>

現在一切正常

Answer 2

此Spark版本不匹配：

• 您在項目中使用2.10。
• 集群使用2.11

將依賴關系更新為2.11。