Hadoop集群设置为0.23版本（MRv2或NextGen MR）
[英]Hadoop cluster set up with 0.23 release (MRv2 or NextGen MR)
问题描述
我看到hadoop的最新稳定版本是0.20.x. 最新版本为0.23。 。 似乎有很多来自.20的通道。 到0.23.x.
我们能够建立具有稳定中继（0.20.2）的小型集群和实用的mapreduce编程。
我们已经看到在0.23.x中添加了很多新api。 为了探索0.23.x，我们需要使用0.23.x版本来设置集群。
你们可以给我们一个文档，在那里我们可以设置0.23.x版本的集群。
似乎0.23.x是完全不同的，当我解开tar文件时，它不像0.20.x。 请给我们一些书籍参考/文档，其中从开始提到集群设置。
谢谢MRK
2 个解决方案
解决方案1
2 已采纳 2011-12-13 01:03:10
0.23和0.23之前版本的主要区别在于，在0.23中，资源管理和应用程序生命周期管理已经分开。 Pre-0.23只允许运行MapReduce应用程序，但0.23允许除MapReduce之外的其他应用程序。 Hama，Giraph和其他一些应用程序已经被移植并且MPI的移植正在进行中。
我们已经看到在0.23.x中添加了很多新api。 为了探索0.23.x，我们需要使用0.23.x版本来设置集群。
用户API没有任何差异，因此现有应用程序应在没有任何代码更改的情况下运行，但需要更改配置文件。 从API的角度来看，0.23版本是向后兼容的。
以下是MRv2架构，视频，文章等的综合列表。当我遇到新信息时，我会尝试更新它们。
解决方案2
0 2011-12-12 17:27:25
除纱线（MRv2）或mapred（MRv1）以外的用户提交Hadoop作业失败
[英]Hadoop jobs fail when submitted by users other than yarn (MRv2) or mapred (MRv1)
MRv1（mapreduce）和MRv2（YARN）的“ Wordcount”程序是否有所不同
[英]Does “Wordcount” program differs for MRv1(mapreduce) and MRv2(YARN)
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.