Apache Spark：spark-submit给出java.lang.IncompatibleClassChangeError异常

Question

我是新来的Apache Spark并尝试使用它。 我已经打开了spark-1.1.0-bin-hadoop2.3的包装，由于它是预构建的版本，因此我无需再次构建它。

因此，接下来要做的是我安装了maven，并在PATH变量中配置了maven。

然后，我创建了一个与此类似的独立Java应用程序，并使用maven通过以下命令运行它：

$ mvn package
$ mvn exec:java -Dexec.mainClass="SimpleApp"

它运行完美，我也得到了输出。

然后我试图使用spark-submit实用程序运行该应用程序并运行以下命令

$ mvn package
$ YOUR_SPARK_HOME/bin/spark-submit --class "SimpleApp" --master local[4] target/simple-project-1.0.jar

即使第一个命令完美构建，运行第二个命令也会给我这个错误：

 Exception in thread "main" java.lang.IncompatibleClassChangeError: class SimpleApp$1 has interface org.apache.spark.api.java.function.Function as super class
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at SimpleApp.main(SimpleApp.java:17)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:328)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

这是Java应用程序的pom.xml

<project  xmlns="http://maven.apache.org/POM/4.0.0" 
 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
 http://maven.apache.org/xsd/maven-4.0.0.xsd">
      <groupId>edu.berkeley</groupId>
      <artifactId>simple-project</artifactId>
      <modelVersion>4.0.0</modelVersion>
      <name>Simple Project</name>
      <packaging>jar</packaging>
      <version>1.0</version>
      <repositories>
         <repository>
            <id>Akka repository</id>
            <url>http://repo.akka.io/releases</url>
         </repository>
      </repositories>
      <dependencies>
          <dependency> <!-- Spark dependency -->
              <groupId>org.apache.spark</groupId>
              <artifactId>spark-core_2.10</artifactId>
              <version>1.1.0</version>
          </dependency>
       </dependencies>
  </project>

请帮助我找到问题的原因以及解决方法。 我在这里错过任何步骤了吗？

问候，Subhankar

Answer 1

我遇到了类似的问题，但版本为0.9.1

<version>0.9.1</version>

刚刚在pom.xml中将版本更改为1.3，并对其进行了修复。

<version>1.3.0</version>

要考虑的另一件事是转到Maven存储库

cd ~/.m2/repository 
cd org/apache
rm -rf ./spark

回到您的项目目录并运行

mvn clean package

这将再次获得依赖关系并重建jar文件