带有mongoDB的Hadoop：NoClassDefFoundError MongoConfigUtil

Question

我正在学习如何使用mongodb数据作为输入在hadoop中编写地图/约简作业。 所以我遵循了这个示例，但是出现以下错误：

 Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/util/MongoConfigUtil
    at WordCount.main(WordCount.java:58)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: com.mongodb.hadoop.util.MongoConfigUtil
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

我一直在寻找没有任何结果的小时。 任何人都可以帮助我。

Answer 1

这意味着mongo-hadoop-core.jar在编译时可用，但在运行时不可用。

尝试使用在classpath中添加的依赖项jar运行应用程序

示例： java -cp mongo-hadoop-core.jar<++other dependencies> MainClass

编辑1

如果您正在使用hadoop shell运行

通过执行hadoop classpath检查classpath hadoop classpath ，它将在类路径中打印dir / jars。

如果依赖的jar不在类路径中，请使用export命令将其添加到classpath然后执行hadoop jar yourjar.jar mainClass

编辑2

利用libjars选项

hadoop jar myjar.jar mainClass -libjars ${LIBJARS}

Answer 2

我可以看到此链接示例的文件夹结构是maven。 我不能在该链接中看到pom.xml。

我们可以将Maven范围从provided为runtime

1. 你需要写assembly.xml （打包应用程序的lib和tar文件相关的依赖），并需要从pom.xml的是指它与未安装在群集中的其他依赖关系沿着封装蒙戈- Hadoop的core.jar添加。

export HADOOP_CLASSPATH=`hadoop classpath`:`hbase classpath`

hadoop jar .... -cp $HADOOP_CLASSPATH MainClass

如果解压缩上述的tar文件，则可以引用类路径，例如：hadoop jar .... .//lib/*主类，其中lib文件夹包含您的所有依赖项，例如mongodb。

2. 如果在集群中安装了mongo db和相关组件，我们可以像下面的示例一样提及classpath 。

另请参阅此答案，他们如何使用libjars