從Pyspark訪問HDFS失敗

Question

我已經在Ubuntu 17.04上安裝了Hadoop 2.7.3和pyspark 2.2.0。

Hadoop和Pyspark似乎都可以正常工作。 但是，我沒有設法從Pyspark的HDFS中獲取文件。 當我嘗試從HDFS獲取文件時，出現以下錯誤：

https://imgur.com/j6Dy2u7

我在另一篇文章中讀到，需要將環境變量HADOOP_CONF_DIR設置為訪問HDFS。 我也這樣做了（請參閱下一個屏幕截圖），但是隨后又出現另一個錯誤，Pyspark不再起作用。

https://imgur.com/AMpJ6TB

如果我刪除了環境變量，那么一切都會像以前一樣工作。

如何解決從Pyspark中的HDFS打開文件的問題？ 我已經花了很長時間了，非常感謝您的幫助！

Answer 1

盡管這個答案有點晚，但是您應該使用hdfs:///test/PySpark.txt （注意3 / s）。