Hadoop：java.net.ConnectException：連接被拒絕

Question

您好我一直在嘗試按照本教程： http ： //www.tutorialspoint.com/apache_flume/fetching_twitter_data.htm很長一段時間，我完全陷入第3步：在HDFS中創建目錄。 我已經運行了start-dfs.sh和start-yarn.sh，兩者似乎都正常工作，因為我得到了與教程相同的輸出，但是當我嘗試運行時：

hdfs dfs -mkdir hdfs://localhost:9000/user/Hadoop/twitter_data 

我一直收到同樣的錯誤：

mkdir: Call From trz-VirtualBox/10.0.2.15 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

我無法弄清楚為什么我到處搜索並嘗試了許多解決方案，但似乎無法取得進展。 我將列出我認為可能導致這種情況的所有文件，但我可能錯了：我的core.site.xml是：

<configuration>
<property>  
<name>hadoop.tmp.dir</name>
<value>/Public/hadoop-2.7.1/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

我的mapred-site.xml是：

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>

我的hdfs.site.xml是：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permission</name>
<value>false</value>
</property>
</configuration>

我正在虛擬機上運行Ubuntu 14.04.4 LTS。 我的〜/ .bashrc看起來如此：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop/bin 
export HADOOP_HOME=/usr/local/hadoop/bin
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
#flume
export FLUME_HOME=/usr/local/Flume
export PATH=$PATH:/FLUME_HOME/apache-flume-1.6.0-bin/bin
export CLASSPATH=$CLASSPATH:/FLUME_HOME/apache-flume-1.6.0-bin/lib/*

最后我的/ etc / hosts文件設置如下：

127.0.0.1  localhost
10.0.2.15  trz-VirtualBox
10.0.2.15  hadoopmaster


# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

添加的hadoopmaster我目前沒有使用，這是我嘗試通過嘗試不使用本地主機（沒有工作）來解決這個問題之一。 trz-VirtualBox最初是127.0.1.1，但我讀到你應該使用你的真實IP地址？ 兩者都沒有，所以我不確定。 我發布了所有這些文件，因為我不知道錯誤在哪里。 我不認為這是一個路徑問題（在我完成這一步之前我已經做了很多事情並且能夠自己解決它們）所以我沒有想法。 我已經在這里工作了幾個小時，所以任何幫助都表示贊賞。 謝謝。

Answer 1

按照本教程找到我的答案： http ： //codesfusion.blogspot.in/2013/10/setup-hadoop-2x-220-on-ubuntu.html

然后使用以下編輯： https ： //stackoverflow.com/a/32041603/3878508

Answer 2

您必須設置hadoop目錄的權限

sudo chown -R user:pass /hadoop_path/hadoop

然后啟動集群並運行jps命令以查看DataNode和NameNode進程。

Answer 3

我得到了類似的錯誤。 檢查后發現我的namenode服務處於停止狀態。 sudo status hadoop-hdfs-namenode - 檢查sudo status hadoop-hdfs-namenode狀態

如果它沒有處於啟動/運行狀態sudo start hadoop-hdfs-namenode - 啟動namenode服務

請記住，名稱節點服務在重新啟動后變得完全正常運行需要一些時間。 它讀取內存中的所有hdfs編輯。 您可以使用命令tail -f /var/log/hadoop-hdfs/{Latest log file}檢查/ var / log / hadoop-hdfs /中的進度