在小型節點上構建hadoop集群

Question

我正在准備在四個非常小的虛擬服務器（2GB RAM，每個2Cores）上部署hadoop集群，以進行概念驗證。 一台服務器作為名稱節點和資源管理器，三台是數據節點。

每次我運行測試作業（帶有數據的3,4 GB文件）時，兩個數據節點（隨機節點）以最大的能力工作，而其中一個則處於睡眠狀態（通過htop進行監視）。 在hadoop GUI中可以看到所有3個數據節點。 我想念什么？

任何幫助都感激不盡。

yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop-master:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop-master:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop-master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop-master:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop-master:8088</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
    <name>dfs.data.dir</name>
    <value>/opt/hadoop/hadoop/dfs/data</value>
    <final>true</final>
</property>
<property>
    <name>dfs.name.dir</name>
    <value>/opt/hadoop/hadoop/dfs/name</value>
    <final>true</final>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
<property>
    <name>dfs.blocksize</name>
    <value>67108864</value>
</property>

Answer 1

我找到了解決方案。
為了增加mapred-site.xml文件中的reducer數量，我添加了

<property>
    <name>A</name>
    <value>5</value>
</property> 

在將其他節點添加到集群后，hadoop增加了映射器，而無需在配置中進行任何其他更改。 現在，所有數據節點都以最大能力工作。