如何在Ubuntu 10.4上配置和运行Hadoop Pipes

Question

我是Linux Hadoop的新手。 我正在寻找指导，以使Hadoop能够启动并运行以编写C ++任务。 我尝试使用教程以伪分布式模式安装Hadoop：

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

它可以在Java上正常工作，但是在运行c ++ wordcount示例时出现此错误：

12/05/03 18:23:00 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost/user/c1048267/books
    at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:190)
    at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:201)
    at org.apache.hadoop.mapred.JobClient.writeOldSplits(JobClient.java:810)
    at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:781)
    at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:730)
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1249)
    at org.apache.hadoop.mapred.pipes.Submitter.runJob(Submitter.java:248)
    at org.apache.hadoop.mapred.pipes.Submitter.run(Submitter.java:479)
    at org.apache.hadoop.mapred.pipes.Submitter.main(Submitter.java:494)

如果有特定的软件，硬件或配置要求，也请指导我。 目前，我使用的是Ubuntu 10.4 64位，Hadoop-0.20.2和Java_Sun_6。 该平台是否支持Hadoop管道？ 如果没有，请指导我。

Answer 1

首先，您需要配置HADOOP_CLASSPATH使其包含与Pipes相关的所有库，然后对其进行编译，并为其创建一个MAKEFILE：

CC = g++
HADOOP_INSTALL = /home/hadoop/hadoop
PLATFORM = Linux-i386-32
CPPFLAGS = -m32 -I$(HADOOP_INSTALL)/c++/$(PLATFORM)/include

wordcount: wordcount.cpp
$(CC) $(CPPFLAGS) $< -Wall -L$(HADOOP_INSTALL)/c++/$(PLATFORM)/lib -lhadooppipes \
-lhadooputils -lpthread -g -O2 -o $@

在群集libssl和g ++的每台计算机中都需要这样做 。 要编译并运行wordcount示例，可以运行：

make  wordcount

然后，您必须在HDFS中为/ bin目录复制输出二进制文件：

hadoop dfs -mkdir bin                    
hadoop dfs -put  wordcount   bin/wordcount

使用以下命令运行程序：

hadoop pipes -D hadoop.pipes.java.recordreader=true  \ 
               -D hadoop.pipes.java.recordwriter=true \
               -input dft1  -output dft1-out  \
               -program bin/wordcount

我看到的第二件事是：

See JobConf(Class) or JobConf#setJar(String). Exception in thread "main"    org.apache.hadoop.mapred.InvalidInputException: **Input path does not exist: hdfs://localhost/user/c1048267/books** at 

您确定HDFS中有该目录吗？ 最好的祝愿

有关完整的指南，请参见此链接