我看到hadoop的最新稳定版本是0.20.x. 最新版本为0.23。 似乎有很多来自.20的通道。 到0.23.x.

我们能够建立具有稳定中继(0.20.2)的小型集群和实用的mapreduce编程。

我们已经看到在0.23.x中添加了很多新api。 为了探索0.23.x,我们需要使用0.23.x版本来设置集群。

你们可以给我们一个文档,在那里我们可以设置0.23.x版本的集群。

似乎0.23.x是完全不同的,当我解开tar文件时,它不像0.20.x。 请给我们一些书籍参考/文档,其中从开始提到集群设置。

谢谢MRK

===============>>#1 票数:2 已采纳

0.23和0.23之前版本的主要区别在于,在0.23中,资源管理和应用程序生命周期管理已经分开。 Pre-0.23只允许运行MapReduce应用程序,但0.23允许除MapReduce之外的其他应用程序。 Hama,Giraph和其他一些应用程序已经被移植并且MPI的移植正在进行中。

我们已经看到在0.23.x中添加了很多新api。 为了探索0.23.x,我们需要使用0.23.x版本来设置集群。

用户API没有任何差异,因此现有应用程序应在没有任何代码更改的情况下运行,但需要更改配置文件。 从API的角度来看,0.23版本是向后兼容的。

以下是MRv2架构,视频,文章等的综合列表。当我遇到新信息时,我会尝试更新它们。

http://www.thecloudavenue.com/p/mrv2resources.html

===============>>#2 票数:0

这是r0.23.0中群集设置的官方文档:

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/ClusterSetup.html

  ask by MRK translate from so

未解决问题?本站智能推荐:

1回复

MRv1和MRv2参数

(Hadoop的-2.6)参数的整个列表中给出的链接 但是您可以执行MRv1或MRv2样式的作业。 我认为有些参数仅适用于MRv1,例如mapreduce.tasktracker.map.tasks.maximum ,这是真的吗? 如果是,那么还有什么更聪明的方法来找出所有这些参数?
1回复

等效YARN MRv2 JobClient

我找不到与MRv2等效的JobClient(Java,MRv1)。 我正在尝试读取正在运行的作业的MR作业状态,计数器等。 我必须从他相信的资源管理器中获取信息(因为历史记录服务器在作业结束前将没有信息,并且我需要在作业仍在运行时读取计数器)。 我缺少的mapreduce api中有一个客
2回复

Hadoop / Yarn(v0.23.3)伪分布式模式设置::无作业节点

我只是在Psuedo分布式模式下设置了Hadoop / Yarn 2.x(具体来说是v0.23.3)。 我遵循了一些博客和网站的指示,这些博客或网站或多或少提供了相同的设置方法。 我还遵循了O'reilly的Hadoop书的第三版(具有讽刺意味的是,该书的用处最少)。 问题:
1回复

关于Hadoop secondarynamenode概念

根据文档记录(http://hadoop.apache.org/common/docs/r0.20.203.0/hdfs_user_guide.html),hadoop0.20.203.0及更高版本已弃用secondarynamenode,并由checkpointnode和backupnode代
1回复

了解Hadoop的mapreduce.framework.name

我正在学习Hadoop,并且知道该框架有两个版本:Hadoop1和Hadoop2。 如果我的理解是正确的,则在Hadoop1中, 执行环境基于两个守护程序,即TaskTracker和JobTracker而在Hadoop2(又称为yarn)中,执行环境基于“新守护程序”,即ResourceM
1回复

如何使用Hadoop 2.x提交Hadoop流作业并检查执行历史记录

我是Hadoop的新手。 在Hadoop 1.X中,我可以从主节点提交hadoop流作业,并从namenode网站检查结果和执行时间。 以下是Hadoop 1.X中hadoop流的示例代码: 但是,在Hadoop 2.x中,作业跟踪器已删除。 如何在Hadoop 2.X中获得相
2回复

除纱线(MRv2)或mapred(MRv1)以外的用户提交Hadoop作业失败

我正在运行运行MRv1(CDH5)与LocalFileSystem配对的测试集群,并且我能够运行作业的唯一用户是mapred(因为mapred是启动jobtracker / tasktracker守护进程的用户)。 以任何其他用户身份提交作业时,作业会失败,因为jobtracker / tas
3回复

apache hadoop版本2.0与0.23

有很多Hadoop版本和不同的发行版让我感到困惑。 我有几个问题。 Apache Hadoop 1.x是从0.20.205开始的? Apache Hadoop 2.0是从0.22还是0.23?
2回复

现有MapReduce和YARN(MRv2)之间的差异

有人会告诉我,现有的MapReduce和YARN之间存在差异,因为我发现这两者之间没有明显的差异吗? PS:我要求比较这些之间的东西。 谢谢!
1回复

MRv1(mapreduce)和MRv2(YARN)的“ Wordcount”程序是否有所不同

对于不同的Hadoop(Mapreduce)版本,“ Wordcount”程序是否有所不同? MRv1(mapreduce)和MRv2(YARN)是否至少? 要么 编程是相同的,但所需的单词计数软件包有所不同.....?