Hadoop：從源（即我的PC）將文件加載到HDFS時出現錯誤

Question

我正在嘗試將文件從源復制到HDFS

查詢： Hadoop fs -copyFromLocal（本地路徑）（源路徑）

例如Hadoop fs -copyFromLocal C：\\ users \\ Desktop（源路徑）

以及Hadoop fs -copyFromLocal C：\\ users \\ Desktop URI

但出現錯誤

-copyFromLocal：無法從空字符串創建路徑用法：hadoop fs [通用選項] -copyFromLocal [-f] [-p]（localsrc）...（dst）

Answer 1

嘗試hadoop dfs -copyFromLocal file_to_be_copied hdfs://namenode:/path_to_location

fs命令被折舊。

注意：您不必提及實際的HDFS路徑。 您也可以做類似的事情

hadoop dfs -copyFromLocal file_to_be_copied /path_to_location_within_hdfs

Answer 2

1. 您未指定文件的路徑。
2. 確保指定的hdfs路徑存在。

3. 最后嘗試像這樣轉義正斜杠：

    Hadoop fs -copyFromLocal C:\\\\users\\\\Desktop\\myfile.txt URI 

或使用

    Hadoop fs -copyFromLocal C:/users/Desktop/myfile.txt URI

Answer 3

很遺憾，我無法在您的回復下方發表評論。 獲取路徑的最簡單方法是進入用戶界面，然后單擊“瀏覽文件系統”。 另一個選擇是hdfs dfs -ls /或hdfs dfs -lsr /

ls將列出您的根目錄中的目錄/文件。
lsr將遞歸地讀取您的根目錄中的所有子目錄。

Answer 4

HDFS就像其他文件系統一樣。 路徑以/作為根開頭。 句點（。）表示當前目錄。 我在Linux平台上。 希望以下示例對您有所幫助。

name@host: ~/oracle/sql$ hdfs dfs -ls /
Found 5 items
drwxr-xr-x   - myname supergroup          0 2014-09-05 03:06 /directory
drwxr-xr-x   - myname supergroup          0 2014-05-10 03:34 /in
drwxr-xr-x   - myname supergroup          0 2014-10-16 22:50 /system
drwxrwx---   - myname supergroup          0 2014-08-18 08:44 /tmp
drwxr-xr-x   - myname supergroup          0 2014-08-18 08:41 /user
name@host: ~/oracle/sql$ hdfs dfs -copyFromLocal foo.sql /
name@host: ~/oracle/sql$ hdfs dfs -ls /
Found 6 items
drwxr-xr-x   - myname supergroup          0 2014-09-05 03:06 /directory
-rw-r--r--   3 myname supergroup         90 2015-03-24 05:33 /foo.sql
drwxr-xr-x   - myname supergroup          0 2014-05-10 03:34 /in
drwxr-xr-x   - myname supergroup          0 2014-10-16 22:50 /system
drwxrwx---   - myname supergroup          0 2014-08-18 08:44 /tmp
drwxr-xr-x   - myname supergroup          0 2014-08-18 08:41 /user

name@name: ~/oracle/sql$ hdfs dfs -copyFromLocal foo.sql /user/myname/
name@name: ~/oracle/sql$ hdfs dfs -ls /user/myname/foo.sql
-rw-r--r--   3 myname supergroup         90 2015-03-24 05:41       /user/myname/foo.sql
name@host: ~/oracle/sql$