Hadoop 2.6在/0.0.0.0:8032連接到ResourceManager

Question

我試圖在Hadoop 2.6下運行以下Spark示例，但是我收到以下錯誤：

INFO RMProxy：在/0.0.0.0:8032連接到ResourceManager，客戶端進入嘗試連接的循環。 我正在運行兩台機器的集群，一台主機和一台機器。

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 2g \
--executor-memory 2g \
--executor-cores 1 \
--queue thequeue \
lib/spark-examples*.jar \
10

這是我得到的錯誤：

15/12/06 13:38:28 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
15/12/06 13:38:29 INFO RMProxy: Connecting to ResourceManager at /0.0.0.0:8032  
15/12/06 13:38:30 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)  
15/12/06 13:38:31 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:32 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:33 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)   
15/12/06 13:38:34 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

JPS

hduser @ master：/ usr / local / spark $ jps

4930 ResourceManager 
4781 SecondaryNameNode 
5776 Jps 
4608 DataNode 
5058 NodeManager 
4245 Worker 
4045 Master 

我的/ etc / host /

/etc/hosts

192.168.0.1 master 
192.168.0.2 slave 

對於支持IPv6的主機，以下行是理想的

::1     ip6-localhost ip6-loopback 

fe00::0 ip6-localnet 

ff00::0 ip6-mcastprefix 

ff02::1 ip6-allnodes 

Answer 1

主機名配置不正確時，主要出現此錯誤...請檢查主機名是否配置正確，與您在Resourcemanager中提到的相同...

Answer 2

我遇到了同樣的問題。 我解決了

執行以下步驟。

1. 使用命令啟動紗線：start-yarn.sh
2. 使用命令檢查資源管理器：jps
3. 將以下代碼添加到配置中

<property>
   <name>yarn.resourcemanager.address</name>
   <value>127.0.0.1:8032</value>
</property>

Answer 3

我也遇到了同樣的問題，我無法使用spark-submit提交spark作業。

問題是由於在啟動Spark作業時缺少HADOOP_CONF_DIR路徑所以，無論何時提交作業，都要將HADOOP_CONF_DIR設置為適當的HADOOP CONF目錄。 像導出HADOOP_CONF_DIR = / etc / hadoop / conf

Answer 4

您需要確保yarn-site.xml位於類路徑上，並確保相關屬性標記為true元素。

Answer 5

當我運行./bin/yarn-session.sh -n 2 -tm 2000時，類似的導出HADOOP_CONF_DIR = / etc / hadoop / conf對於我在flink上的情況是一個好主意。

Answer 6

正如你可以看到這里 yarn.resourcemanager.address乃根據yarn.resourcemanager.hostname其中它的默認值設置為0.0.0.0。 所以你應該正確配置它。
在Hadoop安裝的基礎上，編輯etc/hadoop/yarn-site.xml文件並添加此屬性。

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>

再次執行start-yarn.sh將使您的新設置生效。

Answer 7

我有同樣的問題。 我的原因是機器之間的時間不一樣，因為我的資源管理器不在主機上。 只有一秒鍾的差異會導致紗線連接問題。 幾秒鍾的差異可能導致您的名稱節點和日期節點無法啟動。 使用ntpd配置時間同步以確保時間完全相同。