Giraph的估計群集堆4096MB要求大於當前可用的群集堆0MB。 中止工作

Question

我在5節點群集上使用Hadoop 2.5.2運行Giraph。 但是，當我嘗試運行SimpleShortestPathsComputation示例時，出現此錯誤：

線程“主”中的異常java.lang.IllegalStateException：Giraph的估計群集堆2000MB Ask大於當前可用的群集堆0MB。 中止工作。

到目前為止，我還無法確定Giraph為什么認為該群集具有0MB的堆。 我分別在yarn-env.sh和hadoop-env.sh中設置了YARN_HEAPSIZE和HADOOP_HEAPSIZE，在yarn-site.xml中設置了：

 <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8960</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
  </property>

知道這是怎么回事嗎？

Answer 1

原來這是一個環境問題。 基本上，這是什么情況：Giraph向YARN ResourceManager詢問正在運行的節點的列表，並匯總列出的節點上可用的堆，然后將其與自己估計的需要多少堆進行比較。 在我的情況下，我的設置中的一個小故障導致YARN無法列出任何節點，因此Giraph認為群集可以使用0MB的堆。

潛在的問題有兩個：

1. 我在EC2上運行，忘記將端口8032添加到安全組，因此節點可以連接到資源管理器。
2. 我忘了設置yarn resourcemanager主機名屬性，因此節點最初嘗試連接到0.0.0.0。

一旦解決了這兩個問題，該問題就消失了。