運行Hadoop Pi示例

Question

我需要一些在Windows上運行Hadoop Pi示例的幫助。 我已經在Windows上成功設置了Hadoop，並且可以看到所有NameNode，SecondaryNameNode，JobTracker和TaskTracker正在運行。 我也可以點擊網址：

http://localhost:50070/, http://localhost:50030 and http://localhost:50090/.

但是，當我嘗試運行內置Pi示例時，出現以下異常。

$ hadoop jar hadoop/hadoop-examples-1.2.1.jar pi 4 100
Not a valid JAR: C:\cygwin\home\chandeln\hadoop\hadoop-examples-1.2.1.jar

我還在路徑中同時設置了hadoop和java。

$ java -version
java version "1.7.0_40"
Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)

$ hadoop version
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /C:/cygwin/usr/local/hadoop/hadoop-core-1.2.1.jar

我的.bashrc看起來像這樣：

export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_40
export HADOOP_PREFIX=/cygdrive/c/usr/local/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin

有人能對此有所啟示嗎？

Answer 1

即使Hadoop是用Java編寫的，但在Windows上也不能很好地運行。 如果您真的想在最短的時間內啟動並運行Hadoop，我建議您使用Linux。 您可以下載免費的VMWare Player應用程序，然后將其安裝在Windows上。 然后，在Ubuntu上下載最新版本，然后使用VMWare Player將其安裝為虛擬機。 然后，您可以使用Ubuntu虛擬機安裝Hadoop的單節點群集 。

如果這似乎太麻煩了，請打開一個Amazon AWS帳戶，然后找到可以使用的預配置Hadoop機器 。

Answer 2

這很可能是由於您的Java版本與Jar不匹配。 嘗試使用jdk1.6。

（好像您正在使用YDN Hadoop？）

Answer 3

嘗試$ yarn jar hadoop / hadoop-examples-1.2.1.jar pi 4 100