如何将Hadoop MapReduce作业限制为一定数量的节点？

Question

所以，基本上我有一个带有4个数据节点的系统。 但是，要检查hadoop应用程序的可伸缩性，我想用1、2和4个节点对其进行测试。 因此，如何将hadoop使用的节点数限制为仅1个或2个。我使用的是hadoop 2.5.1，并且我对该系统没有管理权限。 而且，我如何还能控制hadoop为一个节点使用的核心数量？

Answer 1

您需要管理员权限才能执行所有操作

如何将hadoop使用的节点数限制为1或2。

退役 2-3个节点

我还如何控制hadoop为一个节点使用的核心数

在yarn-site.xml中的config下方设置，以为每个节点分配8个vcore

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
</property>

还要更新Capacity-scheduler.xml中的yarn.scheduler.capacity.resource-calculator，因为DefaultResourceCalculator仅使用内存。

  <property>
    <name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
    <description>
      The ResourceCalculator implementation to be used to compare
      Resources in the scheduler.
      The default i.e. DefaultResourceCalculator only uses Memory while
      DominantResourceCalculator uses dominant-resource to compare
      multi-dimensional resources such as Memory, CPU etc.
    </description>   </property>