Hadoop YARN-如何限制requestedMemory？

Question

嘗試從hadoop-mapreduce-examples-2.2.0.jar運行PI示例，出現以下異常：

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException): Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=512

不確定1536的來源，但是512是我在mapred-site.xml設置給子任務的最大堆大小：

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value>-Xmx410m</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value>-Xmx410m</value>
</property>

確定映射/縮小任務大小的正確方法是什么？

Answer 1

yarn-site.xml的yarn.scheduler.maximum-allocation-mb的默認值是yarn.app.mapreduce.am.resource.mb ，而mapred-site.xml中yarn.app.mapreduce.am.resource.mb參數的默認值是1536。

確保app.mapreduce.am.resource.mb allocation-mb > app.mapreduce.am.resource.mb可以。