我是否需要安裝Apache Spark和/或Scala才能運行jUnit？

Question

我是Apache Spark框架的新手，嘗試按如下所示設置我的第一個jUnit：

package com.sample.ccspark;

import com.holdenkarau.spark.testing.SharedJavaSparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.junit.Test;

import java.util.List;

import static java.util.Arrays.asList;
import static org.hamcrest.core.Is.is;
import static org.junit.Assert.assertThat;

public class SimpleTest extends SharedJavaSparkContext {

    @Test
    public void initializationWorks()  {
        List<Integer> list = asList(1, 2, 3, 4);
        JavaRDD<Integer> rdd = jsc().parallelize(list);
        assertThat(rdd.count(), is(list.size()));
    }
}

在pom.xml中具有以下依賴項

    <dependency>
        <groupId>com.holdenkarau</groupId>
        <artifactId>spark-testing-base_2.11</artifactId>
        <version>2.2.0_0.7.2</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>2.2.0</version>
    </dependency>

一切都愉快地編譯，但是在運行時，我得到以下異常：

Exception in thread "dispatcher-event-loop-6" java.lang.NoClassDefFoundError: 
scala/runtime/AbstractPartialFunction$mcVL$sp

我還沒有在本地安裝Spark或Scala，印象是測試框架應該處理所有依賴項。 我在這里缺少什么嗎？

Answer 1

在工件名稱中
<artifactId>spark-testing-base_2.11</artifactId> <artifactId>spark-core_2.10</artifactId>

最后一個數字是Scala的版本。 我猜您應該只為這兩種情況選擇一種。