繁体   English   中英

spark-submit中的java.lang.NoClassDefFoundError

[英]java.lang.NoClassDefFoundError in spark-submit

我在这里使用https://github.com/tribbloid/spookystuff/tree/branch-0.4构建了项目

MAVEN_OPTS =“-Xmx2g -XX:MaxPermSize = 512M -XX:ReservedCodeCacheSize = 512m” mvn包-DskipTests = true

从这里https://gist.github.com/titipata/13fad88df5525d607f24

然后,我在自己的单独项目中使用在core/target/x-jar-with-dependencies.jar中创建的胖罐。

<dependency>
    <groupId>com.tribbloid.spookystuff</groupId>
    <artifactId>spookystuff-core_2.10</artifactId>
    <scope>system</scope>
    <version>0.4.0-SNAPSHOT</version>
    <systemPath>${basedir}/lib/x-jar-with-dependencies.jar</systemPath>
</dependency>

而且,我还在使用spookystuff创建这个项目的spookystuffy-jar-with-dependencies.jar可以说)。

现在运行时

spark-submit --class org.webcrawler.core.Driver --master local [*] /path/to/my/y-jar-with-dependencies.jar

我收到一个错误说明

线程“主”中的异常java.lang.NoClassDefFoundError:com / tribbloids / spookystuff / actions / Action

调查:

jar -tvf /path/to/my/x-jar-with-dependencies.jar | grep“ com / tribbloids / spookystuff / actions / Action”

我得到结果,但是

jar -tvf /path/to/my/y-jar-with-dependencies.jar | grep“ com / tribbloids / spookystuff / actions / Action”

我找不到任何课程。 这一切我哪里错了?

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM