Hadoop1.0.4示例未运行

Question

我最近在Windows 7（64位）上使用cygwin安装了Hadoop 1.0.4。 我已经根据该站点配置了* -site.xml。 我能够完美地完成所有工作，但是我的程序在这一特定点挂起：

$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
13/02/12 15:15:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for         
your platform... using builtin-java classes where applicable
13/02/12 15:15:17 WARN snappy.LoadSnappy: Snappy native library not loaded
13/02/12 15:15:17 INFO mapred.FileInputFormat: Total input paths to process : 16
13/02/12 15:15:17 INFO mapred.JobClient: Running job: job_201302121513_0002
13/02/12 15:15:18 INFO mapred.JobClient:  map 0% reduce 0%

我也检查了jobtracker和tasktracker。 一个节点处于活动状态，总提交为1，但是没有任何活动！ 没有任何运行..没有映射/没有减少！ 我现在很困惑，我无能为力。 请帮助wat进行下一步。 PS：我只在一台机器上尝试伪单节点设置。 请指导我该怎么办？ 即使jps命令也无法正常工作？ 我已将路径设置为C：\\ jdk_1.6.0_15。

Answer 1

为了使JPS工作，请将路径指定为C:\\jdk_1.6.0_15/bin

关于作业未运行，请检查作业跟踪器日志。 可能是某些配置错误导致作业中止。

您也可以专门尝试在配置中设置最大数量的映射器和缩减器。 可能设置为零

希望能帮助到你

Answer 2

1）使用jps / ps检查您的hadoop状况，所有组件工作正常吗？

2）检查java版本。它必须是sun / oracle jdk> = 6，检查hadoop-env.sh中的java配置（主要是JAVA_HOME）

3）检查/hadoop-1.*/lib/native文件夹中的本机库，这些是否支持您的平台？

如果它们不存在，则使用此指令链接进行编译，因为（仅使用* nix平台（即Unix / Linux系统）对本机库进行测试，然后如前所述将库加载到文件系统中

有用的其他链接

即使这不起作用，也请尝试使用hadoop-0.20，因为例如使用Windows-64位，您可以尝试

hadoop-0.20.2/bin/hadoop jar /home/trendwise/apache/hadoop-0.20.2/hadoop-0.20.2-examples.jar pi 16 1000