hadoop启动错误：datanode，tasktracker无法启动且数据复制错误

Question

我正在尝试在5个计算机的（测试）群集上安装Hadoop 1.2.1，其中一个节点充当JobTracker，NameNode和Secondary NameNode。 4台机器中的其余部分是从机。

有两个问题。

1）在主机的conf / masters和conf / slaves文件中，我分别提供了主机和从机的IP地址。 在从属服务器上，主控文件为空，而从属文件包含其自己的IP。

启动hadoop（bin / start-all.sh）时，TaskTracker和DataNode无法启动。 我将这些机器的主机名放在/ etc / hosts文件中，并尝试将它们的主机名也放入主文件和从属文件中。 这没有任何区别-TaskTracker和DataNode无法启动。

启动hadoop服务时，我收到一条消息，指出TaskTracker和DataNode日志已写入。 但奇怪的是，我在那个位置找不到它们。 以下是我收到的消息

10.6.80.4：启动datanode，登录到/home/ubuntu/hadoop-1.2.1/libexec/../logs/hadoop-ubuntu-datanode-dsparq-instance4.out

10.6.80.2：启动tasktracker，登录到/home/ubuntu/hadoop-1.2.1/libexec/../logs/hadoop-ubuntu-tasktracker-dsparq-instance2.out

2）在JobTracker / NameNode日志中，多次列出以下异常。

错误：java.io.IOException：文件<>只能复制到0个节点，而不是1个

这些问题的解决方案（在StackOverflow上）建议重新格式化hdfs并检查/ etc / hosts的条目。 我尝试了两个，但这没有帮助。

请让我知道如何解决这些错误。 先感谢您。

---

添加core-site.xml和mapred-site.xml的内容（在所有计算机上相同）

核心的site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<property>
<name>fs.default.name</name>
<value>hdfs://10.6.80.21:8020</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hdfs</value>
</property>

</configuration>

mapred-site.xml中

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>
<name>mapred.job.tracker</name>
<value>hdfs://10.6.80.21:8021</value>
</property>

</configuration>

Answer 1

应该将日志写入* .out文件，但其中不包含太多信息。在/ var / log / hadoop /目录中查找* .log文件，以获取有关namenode或其他恶魔的最新日志（如果您有基于RPM的安装）否则请查看$ HADOOP_HOME日志文件夹）。 由于上述问题，请确保所有节点中的core-site.xml都指定了namenode详细信息。 同样，在整个群集中检查mapred-site.xml，它应包含jobtracker的地址。

另外，请确保在整个群集中维护主机名，也可以只使用IP地址。 hadoop.tmp.dir（我们在核心站点中提到的位置）必须在整个群集中创建，并且它应该具有适当的文件许可权，以便您的hdfs用户可以执行读/写操作。

核心的site.xml

<property>
      <name>hadoop.tmp.dir</name>
      <value>/loation/for/temp/dir</value>
      <description>A base for other temporary directories.</description>
    </property>

    <property>
      <name>fs.default.name</name>
      <value>hdfs://namenodehostname</value>
      <description>The name of the default file system.</description>
    </property>

Mapred-site.xml中

<property>
  <name>mapred.job.tracker</name>
  <value>jobtrackerhostname</value>
  <description>The host and port that the MapReduce job tracker
  </description>
</property>

如果您认为上述所有属性都已在您的集群中设置并且仍然遇到问题。 请更新您的完整日志以及配置文件。