當我在Eclipse中運行hadoop作業時發生異常

Question

我正在嘗試運行Hadoop wordcount作業（我正在使用hadoop 2.6.0）。 當我將項目導出到可運行的jar並從CLI運行它時，它將起作用。 但是，當我使用“以Java程序運行”在Eclipse中啟動它時，收到以下異常：

線程“主”中的異常java.lang.NoClassDefFoundError：org / apache / commons / logging / LogFactory位於org.apache.hadoop.conf.Configuration。（Configuration.java:173），位於WordCount.main（WordCount.java:54）造成原因：java.lang.ClassNotFoundException：org.apache.commons.logging.LogFactory at java.net.URLClassLoader $ 1.run（URLClassLoader.java:366）at java.net.URLClassLoader $ 1.run（URLClassLoader.java:355）在java.net.URLClassLoader.findClass（URLClassLoader.java:354）在java.security.AccessController.doPrivileged（本機方法）在sun.misc.Launcher $ AppClassLoader處在java.lang.ClassLoader.loadClass（ClassLoader.java:425） .loadClass（Launcher.java:308）at java.lang.ClassLoader.loadClass（ClassLoader.java:358）...還有2個

有人可以協助我解決這個問題嗎？

Answer 1

我認為您沒有正確配置Eclipse，並且它不知道在哪里可以找到Apache Commons庫jar。 在本教程中 ，您可能缺少最后的步驟：

要從Eclipse運行測試，您還需要執行以下操作：

• 在項目屬性下，選擇“ Java構建路徑”，然后選擇“庫”選項卡
• 單擊“添加外部類文件夾”，然后選擇當前項目的構建目錄

您可能還想看一下另一本教程 ，其中顯示了如何/在何處添加依賴項jar以運行Hadoop程序。

Answer 2

您應該將commons-logging-1.1.1.jar添加到您的Eclipse項目中，然后重新構建 。

Answer 3

請在/usr/local/hadoop/share/hadoop/common/lib添加所有.jar

Answer 4

檢查是否從usr / lib / hadoop-0.20-mapreduce / bin添加了jar

在此添加所有罐子：

當我直接從eclipse運行MapReduce程序時，這解決了我的問題。