Hadoop多節點集群設置

Question

我正在嘗試在hadoop中設置多節點群集，我如何將0個datanode設置為活動datanodes，而我的hdfs顯示了0個字節的分配

但是，nodemanager守護程序正在數據節點上運行

主節點：masterhost1 172.31.100.3（也充當輔助namenode）namenode

datahost1 172.31.100.4 #datanode

datanode的日志如下：

`STARTUP_MSG：構建= https://git-wip-us.apache.org/repos/asf/hadoop.git -r cc865b490b9a6260e9611a5b8633cab885b3d247; 由'jenkins'於2015-12-18T01：19Z編譯STARTUP_MSG：java = 1.8.0_71 ****************************** ****************************** // 2016-01-24 03：53：28,368信息org.apache.hadoop.hdfs。 server.datanode.DataNode：[TERM，HUP，INT]的已注冊UNIX信號處理程序2016-01-24 03：53：28,862 WARN org.apache.hadoop.hdfs.server.common.Util：路徑/ usr / local / hadoop_tmp / hdfs / datanode應該在配置文件中指定為URI。 請更新hdfs配置。 2016-01-24 03：53：36,454 INFO org.apache.hadoop.metrics2.impl.MetricsConfig：從hadoop-metrics2.properties中加載屬性2016-01-24 03：53：37,127 INFO org.apache.hadoop.metrics2。 impl.MetricsSystemImpl：計划的快照周期為10秒。 2016-01-24 03：53：37,127 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl：DataNode指標系統已啟動2016-01-24 03：53：37,132 INFO org.apache.hadoop.hdfs.server.datanode。 DataNode：配置的主機名是datahost1 2016-01-24 03：53：37,142 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：使用maxLockedMemory = 0啟動DataNode 2016-01-24 03：53：37,195 INFO org。 apache.hadoop.hdfs.server.datanode.DataNode：在/0.0.0.0:50010 2016-01-24 03：53：37,197打開流服務器的信息org.apache.hadoop.hdfs.server.datanode.DataNode：平衡帶寬為1048576字節/秒2016-01-24 03：53：37,197 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：用於平衡的線程數為5 2016-01-24 03：53：47,331 INFO org.mortbay。日志：通過org.mortbay.log.Slf4jLog登錄到org.slf4j.impl.Log4jLoggerAdapter（org.mortbay.log）2016-01-24 03：53：47,375 INFO org.apache.hadoop.http.HttpRequestLog：Http請求日志未定義http.requests.datanode的信息2016-01-24 03：53：47,395 INFO org.apache.hado op.http.HttpServer2：添加了全局過濾器“安全性”（class = org.apache.hadoop.http.HttpServer2 $ QuotingInputFilter）2016-01-24 03：53：47,400 INFO org.apache.hadoop.http.HttpServer2：添加了過濾器static_user_filter（class = org.apache.hadoop.http.lib.StaticUserWebFilter $ StaticUserFilter）到上下文數據節點2016-01-24 03：53：47,404 INFO org.apache.hadoop.http.HttpServer2：添加了過濾器static_user_filter（class = org。 apache.hadoop.http.lib.StaticUserWebFilter $ StaticUserFilter）到上下文日志2016-01-24 03：53：47,405 INFO org.apache.hadoop.http.HttpServer2：添加了過濾器static_user_filter（class = org.apache.hadoop.http。 lib.StaticUserWebFilter $ StaticUserFilter）到上下文靜態2016-01-24 03：53：47,559 INFO org.apache.hadoop.http.HttpServer2：addJerseyResourcePackage：packageName = org.apache.hadoop.hdfs.server.datanode.web.resources; org.apache.hadoop.hdfs.web.resources，pathSpec = / webhdfs / v1 / * 2016-01-24 03：53：47,566 INFO org.apache.hadoop.http.HttpServer2：綁定到端口50075的碼頭2016-01- 24 03:53:47 ，566 INFO org.mortbay.log：jetty-6.1.26 2016-01-24 03：53：48,565 INFO org.mortbay.log：已啟動HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0：50075 2016-01-24 03:53： 49,200 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：dnUserName = hadoop 2016-01-24 03：53：49,201 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：supergroup = sudo 2016-01 -24 03：53：59,319 INFO org.apache.hadoop.ipc.CallQueueManager：使用callQueue類java.util.concurrent.LinkedBlockingQueue 2016-01-24 03：53：59,354 INFO org.apache.hadoop.ipc.Server：正在啟動端口50020的套接字讀取器＃1 2016-01-24 03：53：59,401 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：在/0.0.0.0:50020 2016-01-24 03:53打開IPC服務器：59,450 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：收到名稱服務的刷新請求：null 2016-01-24 03：53：59,485 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：正在啟動用於名稱服務的BPOfferServices：2016-01-24 03：53：59,491 WARN org.apache.hadoop.hdfs.ser ver.common.Util：應該在配置文件中將路徑/ usr / local / hadoop_tmp / hdfs / datanode指定為URI。 請更新hdfs配置。 2016-01-24 03：53：59,499 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：塊池（未分配Datanode Uuid）服務到masterhost1 / 172.31.100.3：9000開始提供服務2016-01-24 03：53：59,503 INFO org.apache.hadoop.ipc.Server：IPC服務器響應器：從2016年1月24日開始03：53：59,504 INFO org.apache.hadoop.ipc.Server：IPC Server偵聽器在50020上：從2016年開始-01-24 03：54：00,805 INFO org.apache.hadoop.ipc.Client：重試連接到服務器：masterhost1 / 172.31.100.3：9000。 已經嘗試了0次； 重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 10，sleepTime = 1000 MILLISECONDS）2016-01-24 03：54：01,808 INFO org.apache.hadoop.ipc.Client：重試連接到服務器：masterhost1 / 172.31.100.3：9000。 已嘗試1次； 重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 10，sleepTime = 1000 MILLISECONDS）2016-01-24 03：54：02,811 INFO org.apache.hadoop.ipc.Client：重試連接到服務器：masterhost1 / 172.31.100.3：9000。 已經嘗試了2次； 重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 10，sleepTime = 1000 MILLISECONDS）2016-01-24 03：54：03,826 INFO org.apache.hadoop.ipc.Client：重試連接到服務器：masterhost1 / 172.31.100.3：9000。 已經嘗試了3次； 重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 10，sleepTime = 1000 MILLISECONDS）2016-01-24 03：54：04,831 INFO org.apache.hadoop.ipc.Client：重試連接到服務器：masterhost1 / 172.31.100.3：9000。 已經嘗試了4次； 重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 10，sleepTime = 1000 MILLISECONDS）

`

Answer 1

問題是傳入連接namenode不能從datanode獲取傳入信息，這是由於ipv6問題而已，只需在主節點上禁用ipv6並使用netstat檢查偵聽端口，即可解決上述問題