Ubuntu上的Hadoop多節點集群安裝問題-故障排除

Question

我有三台Ubuntu 12.04 LTS計算機，我要按此處所述在主/從配置中安裝Hadoop。 它說首先將Hadoop作為單個節點安裝，然后再進行多節點安裝。 單節點安裝工作正常。 我按照指南所述對/ etc / hosts文件進行了必要的更改並配置了所有內容，但是當我在主服務器上啟動Hadoop集群時，出現錯誤。

我的計算機恰當地命名為ironman，superman和batman，而batman（還有誰？）是主節點。 當我執行sudo bin/start-dfs.sh ，將顯示以下內容。

輸入密碼后，我得到以下信息：

當我嘗試sudo bin/start-all.sh ，我得到了：

我可以進入不同的終端，但是有些不完全正確。 我檢查了超人/從屬終端上的日志，它說它無法連接到batman：54310和一些zzz消息。 我發現我的/ etc / hosts是錯誤的，但實際上，它是：

我嘗試通過更改iptables打開端口54310，但是此處顯示的輸出屏幕是在進行更改之后。 我機智的盡頭。 請告訴我我要去哪里了。 如果您需要更多信息，請告訴我，我將相應地更新問題。 謝謝！

更新：這是我的配置文件。

core-site.xml請注意，我輸入了batman：54310而不是IP地址。 我只是更改了它，因為我認為我將使綁定更加明確。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://130.65.153.195:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>130.65.153.195:54311</value>
<description>The host and port that the MapReduce job tracker runs
at.  If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>

</configuration>

我的conf / masters文件就是batman而我的conf / slaves文件就是：

batman
superman
ironman

希望這可以澄清事情。

Answer 1

首先，要確保從ping從主機和從主機ping從主機。 分別登錄到每台計算機並ping其他2台主機。 確保通過主機名可以訪問它們。 您可能沒有在從站中添加/ etc / hosts條目。

其次，您需要設置無密碼SSH訪問。 您可以為此使用ssh-keygen -t rsa和ssh-copy-id 。 這將有助於刪除密碼提示。 最好為此創建一個單獨的用戶（而不使用root）。

如果這樣做沒有幫助，請發布您的日志輸出。