通過 sftp 從 Hadoop 發送文件到遠程服務器

Question

我在 HDFS 上的目錄中有一些文件，我需要通過 SFTP 將它們移動到遠程服務器。 通常，我所做的是將文件從 HDFS 下載到一個帶有

hdfs dfs -get /hdfs_path/folder/file.txt /unix_path/destination/path

然后我用 sftp 將它移動為：

sftp -v user@remoteServer <<EOF
lcd /unix_path/destination/path
cd /remote_folder/path/
put file.txt
quit
EOF

我想知道的是：有什么方法可以通過 sftp 將文件從 hadoop 直接發送到遠程服務器，而無需執行之前的 hdfs dfs -get？

Answer 1

Nifi 的創建是為了專門處理這種類型的文件移動。 （這是一個單獨的安裝）。 你應該檢查一下。 除非您在 spark 中編寫了一些代碼，否則我不知道另一種方法。