Cloudera Hadoop沒有運行hadoop 1.0.4？

Question

我編寫了一個hadoop 1.0.4應用程序，該應用程序可以在半分布式模式下在本地正常運行。 我還在群集上安裝了Cloudera Hadoop 4。 我以為CDH4運行hadoop 1.0.4，因為它在hadoop站點上被列為穩定版本，但事實並非如此。 在群集上運行應用程序時，出現以下錯誤：

12/11/27 16:14:38 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/11/27 16:14:38 INFO input.FileInputFormat: Total input paths to process : 16
12/11/27 16:14:39 INFO mapred.JobClient: Running job: job_201211271520_0004
12/11/27 16:14:40 INFO mapred.JobClient:  map 0% reduce 0%
12/11/27 16:14:50 INFO mapred.JobClient: Task Id : attempt_201211271520_0004_m_000013_0, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
12/11/27 16:14:50 INFO mapred.JobClient: Task Id : attempt_201211271520_0004_m_000000_0, Status : FAILED
... and so on...

我是否正確認為這是因為CHD4與hadoop 1.0.4不兼容？ 如果是的話，還有誰知道與hadoop 1.0.4兼容的版本嗎？ 我寧願切換cloudera軟件，也不願重寫應用程序。

Answer 1

你是對的; CDH3使用版本0.20.2，CDH4使用版本2.0.0。 Hadoop版本的術語很混亂，我不假裝理解它。 但是，根據Cloudera在此博客文章中所述的內容，您似乎可以使用CDH3：

"The CDH3 distribution incorporated the 0.20.2 Apache Hadoop release plus the features of the 0.20.append and 0.20.security branches that collectively are now known as “1.0.” The Apache Hadoop in CDH3 has been the equivalent of the recently announced Apache Hadoop 1.0 for approximately a year now."

如果是這樣，我將嘗試CDH3。 如果它不起作用，那么您可能只需要尋找Cloudera安裝之外的其他東西。