簡體   English   中英

運行Hadoop Map-Reduce作業

[英]Running a Hadoop Map-Reduce Job

我是Hadoop的新手,我試圖在最近安裝在桌面上的單節點群集上運行字數統計作業。 我正在關注以下教程:

http://javabeginnerstutorial.com/hadoop/your-first-hadoop-map-reduce-job/

目前,我處於第3步,嘗試運行時收到錯誤消息:

〜/ development / Hadoop_projects / word_count $ mvn全新安裝

我得到的錯誤是:

錯誤:未正確定義JAVA_HOME。 我們無法執行usr / lib / jvm / java-7-openjdk-amd64 / bin / java

我認為我正確安裝了Maven,但不知道。 我在ubuntu 14.04上運行此代碼,關於如何處理Java主路徑的任何想法,還是這里有其他問題?

上面的錯誤是通過修復JAVA_HOME路徑修復的,但是現在我一旦運行mvn clean install就會收到以下錯誤:

 hduser@venus:~/development/Hadoop_projects/word_count$ mvn clean install [INFO] Scanning for projects... [INFO] ------------------------------------------------------------------------ [INFO] BUILD FAILURE [INFO] ------------------------------------------------------------------------ [INFO] Total time: 0.088s [INFO] Finished at: Tue Jul 14 23:07:21 PDT 2015 [INFO] Final Memory: 5M/240M [INFO] ------------------------------------------------------------------------ [ERROR] The goal you specified requires a project to execute but there is no POM in this directory (/home/hduser/development/Hadoop_projects/word_count). Please verify you invoked Maven from the correct directory. -> [Help 1] [ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch. [ERROR] Re-run Maven using the -X switch to enable full debug logging. [ERROR] [ERROR] For more information about the errors and possible solutions, please read the following articles: [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MissingProjectException 

我在word_count文件夾中創建了pom.xml文件,但是由於某些原因,在運行mvn時無法識別該文件。 當我輸入ls word_count時,目錄中沒有pom.xml,但是我可以在Files gui窗口中看到它。

有一篇很棒的Ask Ubuntu文章 ,詳細介紹了如何設置JAVA_HOME環境變量。 我在這里應用在這里找到的解決方案,以適合您的特定設置。

在任何編輯器中打開/etc/environment並將以下行添加到文件中:

JAVA_HOME="usr/lib/jvm/java-7-openjdk-amd64/"

請注意,這里我沒有追加bin/java的路徑,這將是錯誤的。 在命令提示符下,鍵入以下內容以加載新的環境變量:

source /etc/environment

最后,通過在命令提示符下鍵入以下命令來驗證是否正確設置了JAVA_HOME

echo $JAVA_HOME

我認為變量JAVA_HOME的設置不正確。 您應該檢查該系統變量的值。 本教程的第一門課程: http : //how-to-program-in-java.com/core-java-tutorial/介紹了如何設置Java環境(包括JAVA_HOME變量)。 對於Java和Hadoop,以相同的方式設置Java主頁。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM