Hadoopy不會超越mkdir

Question

我目前正在開發一個使用hadoop（2.7.0）的項目，我已配置了兩個節點的集群並可以正常工作（大部分情況下）。 我可以手動運行mapper / reduce作業，而不會遇到任何問題。 但是，當我嘗試使用hadoopy開始工作時，出現錯誤。 調試錯誤后，我看到它是由hadoopy執行的以下命令產生的：

hadoop fs -mkdir _hadoopy_tmp

產生錯誤：

mkdir: '_hadoopy_tmp': No such file or directory

手動執行此操作時， 如果我在文件目錄名稱前以“ /”開頭，則mkdir可以正常工作。 如果我不以“ /”開頭，則會收到與上述相同的錯誤。 ls命令也是如此（ls /給我結果，ls給我一個錯誤，即沒有這樣的文件或目錄）。 我猜想我搞砸了hadoop的配置。 我只是不知道在哪里。

編輯：進行澄清：我知道您應該將mkdir命令與直接路徑一起使用（ea /在它前面）。 在終端與hadoop進行交互時，我會這樣做。 但是hadoopy框架似乎不這樣做（它拋出了上面顯示的錯誤）。 我的問題是：hadoopy中是否有針對此問題的修復/解決方法，還是我必須重寫那里的源代碼？

Answer 1

我不了解“手動”是什么，但是我認為您所看到的錯誤是很合理的，如果您想在hadoop FS中創建目錄，則應提供執行此操作的確切路徑。 那里沒有問題，您也沒有搞砸。 我建議您通過以下方式進行操作：

$HADOOP_HOME/bin/hdfs dfs -mkdir /name_of_new_folder/

Pd：我對hadoopy一無所知，我只是從我對hadoop的經驗談起（並且某些項目在這兩者中應同樣處理，所以這就是我在這里回答的原因，如果我在錯誤）