在 Windows 10 中首次運行 Hadoop 時數據節點執行出錯

Question

我正在嘗試在我的 Windows 10 機器上運行 Hadoop 3.1.1。 我修改了所有文件：

• hdfs-site.xml
• mapred-site.xml
• 核心站點.xml
• 紗線站點.xml

然后，我執行了以下命令：

C:\hadoop-3.1.1\bin> hdfs namenode -format

格式運行正確，所以我定向到C:\\hadoop-3.1.1\\sbin執行以下命令：

C:\hadoop-3.1.1\sbin> start-dfs.cmd

命令提示符會打開 2 個新窗口：一個用於 datanode，另一個用於 namenode。

namenode 窗口繼續運行：

2018-09-02 21:37:06,232 INFO ipc.Server: IPC Server Responder: starting
2018-09-02 21:37:06,232 INFO ipc.Server: IPC Server listener on 9000: starting
2018-09-02 21:37:06,247 INFO namenode.NameNode: NameNode RPC up at: localhost/127.0.0.1:9000
2018-09-02 21:37:06,247 INFO namenode.FSNamesystem: Starting services required for active state
2018-09-02 21:37:06,247 INFO namenode.FSDirectory: Initializing quota with 4 thread(s)
2018-09-02 21:37:06,247 INFO namenode.FSDirectory: Quota initialization completed in 3 milliseconds
name space=1
storage space=0
storage types=RAM_DISK=0, SSD=0, DISK=0, ARCHIVE=0, PROVIDED=0
2018-09-02 21:37:06,279 INFO blockmanagement.CacheReplicationMonitor: Starting CacheReplicationMonitor with interval 30000 milliseconds

雖然datanode給出以下錯誤：

ERROR: datanode.DataNode: Exception in secureMain
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:220)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2762)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2677)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2719)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2863)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2887)
2018-09-02 21:37:04,250 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
2018-09-02 21:37:04,250 INFO datanode.DataNode: SHUTDOWN_MSG:

然后，數據節點關閉！ 我嘗試了幾種方法來克服這個錯誤，但這是我第一次在 Windows 上安裝 Hadoop，不知道下一步該怎么做！

Answer 1

在我刪除了 hdfs-site.xml 中數據節點的文件系統引用后，我開始工作了。 我發現這使軟件能夠創建和初始化自己的數據節點，然后在 sbin 中彈出。 之后，我可以順利使用 hdfs。 以下是 Windows 上的 Hadoop 3.1.3 對我有用的內容：

<configuration>

<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

<property> 
<name>dfs.namenode.name.dir</name> 
<value>file:///C:/Users/myusername/hadoop/hadoop-3.1.3/data/namenode</value>
</property> 

<property> 
<name>dfs.datanode.data.dir</name> 
<value>datanode</value>
</property> 

</configuration>

干杯，MV

Answer 2

我遇到了同樣的問題，對我有用的是編輯 hdfs-site.xml 如下：

 <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///C:/Hadoop/hadoop-3.1.2/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/C:/Hadoop/hadoop-3.1.2/data/datanode</value>
  </property>