了解Hadoop的mapreduce.framework.name

Question

我正在学习Hadoop，并且知道该框架有两个版本：Hadoop1和Hadoop2。

如果我的理解是正确的，则在Hadoop1中， 执行环境基于两个守护程序，即TaskTracker和JobTracker而在Hadoop2（又称为yarn）中，执行环境基于“新守护程序”，即ResourceManager ， NodeManager和ApplicationMaster 。

如果这不正确，请纠正我。

我知道以下配置参数：

mapreduce.framework.name
可能取的值： local ， classic ， yarn

我不明白他们实际上是什么意思。 例如，如果我安装Hadoop 2，那么它将如何具有旧的执行环境（具有TaskTracker ， JobTracker ）。

谁能帮助我这些值的含义？

Answer 1

• yarn代表MR版本2。
• classic版适用于MR版本1
• local用于MR作业的本地运行。

MR V1和MR V2与如何管理资源和执行作业有关。 当前的hadoop版本具有这两种功能（甚至在本地轻量模式下）。 当您将值设置为yarn ，您只是在指示框架使用yarn方法执行作业。 类似地，将其设置为local ，您只是告诉框架没有集群可以执行，并且所有集群都在JVM中。 对于MR V1和MR V2框架，它不是一个不同的基础结构。 它只是工作执行的方式 ，而且会发生变化。

jobTracker ， TaskTracker等全都是守护程序线程，在需要时会生成它们并杀死它们。

MRv1使用JobTracker创建任务并将任务分配给数据节点。 在处理大型簇时发现效率太低，导致yarn

MRv2（又称YARN ，“另一个资源协商器”）为每个群集都有一个资源管理器，并且每个数据节点都运行一个节点管理器。 对于每个作业，一个从属节点将充当Application Master节点，监视资源/任务等。

提供本地模式以在单个机器/ JVM中模拟和调试MR应用程序。

编辑：基于评论

jps （Java虚拟机进程状态）是一个JVM工具，根据官方页面 ：

jps工具列出了目标系统上已检测到的HotSpot Java虚拟机（JVM）。 该工具仅限于报告有关其具有访问权限的 JVM的信息。

所以，

1. jps 不是一个大数据工具，而是一个讲述JVM的Java工具，但是它不会泄露有关JVM中运行的进程的任何信息。

2. 它仅列出它有权访问的JVM。 这意味着仍然存在某些未被检测到的JVM。

请牢记以上几点，如果您观察到jsp命令根据hadoop部署模式发出不同的结果：

1. 本地（或独立）模式：没有守护程序，所有操作都在单个JVM上运行。
2. 伪分布式模式：每个守护程序（Namenode，Datanode等）都在单个主机上的自己的JVM上运行。
3. 分布式模式：每个守护程序在主机群集上的自己的JVM上运行。

因此，每个进程可能会或可能不会在同一JVM中运行，因此jps输出将不同。

现在处于分布式模式，MR v2框架在默认模式下工作。 即yarn ; 因此，您看到特定于纱线的守护程序正在运行

Namenode
Datanode
ResourceManager
NodeManager

Apache Hadoop 1.x（MRv1）包含以下守护程序：

Namenode
Datanode
Jobtracker
Tasktracker

请注意， NameNode和DataNode在两者之间是公用的，因为它们是HDFS特定的守护程序，而其他两个是MR v1和yarn特定的。