Cloudera Hadoop没有运行hadoop 1.0.4？

Question

我编写了一个hadoop 1.0.4应用程序，该应用程序可以在半分布式模式下在本地正常运行。 我还在群集上安装了Cloudera Hadoop 4。 我以为CDH4运行hadoop 1.0.4，因为它在hadoop站点上被列为稳定版本，但事实并非如此。 在群集上运行应用程序时，出现以下错误：

12/11/27 16:14:38 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/11/27 16:14:38 INFO input.FileInputFormat: Total input paths to process : 16
12/11/27 16:14:39 INFO mapred.JobClient: Running job: job_201211271520_0004
12/11/27 16:14:40 INFO mapred.JobClient:  map 0% reduce 0%
12/11/27 16:14:50 INFO mapred.JobClient: Task Id : attempt_201211271520_0004_m_000013_0, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
12/11/27 16:14:50 INFO mapred.JobClient: Task Id : attempt_201211271520_0004_m_000000_0, Status : FAILED
... and so on...

我是否正确认为这是因为CHD4与hadoop 1.0.4不兼容？ 如果是的话，还有谁知道与hadoop 1.0.4兼容的版本吗？ 我宁愿切换cloudera软件，也不愿重写应用程序。

Answer 1

你是对的; CDH3使用版本0.20.2，CDH4使用版本2.0.0。 Hadoop版本的术语很混乱，我不假装理解它。 但是，根据Cloudera在此博客文章中所述的内容，您似乎可以使用CDH3：

"The CDH3 distribution incorporated the 0.20.2 Apache Hadoop release plus the features of the 0.20.append and 0.20.security branches that collectively are now known as “1.0.” The Apache Hadoop in CDH3 has been the equivalent of the recently announced Apache Hadoop 1.0 for approximately a year now."

如果是这样，我将尝试CDH3。 如果它不起作用，那么您可能只需要寻找Cloudera安装之外的其他东西。