Hadoop Java-將文件從Windows共享文件夾服務器復制到HDFS

Question

我想使用Java從Windows共享文件夾服務器（例如// server_name / folder /）上載多個文件到我的HDFS

我嘗試過的方法列表

• org.apache.hadoop.fs.FileUtil設置輸入路徑= // server_name / folder /它說java.io.FileNotFoundException：文件// server_name / folder /不存在

• FileSystem.copyFromLocalFile（我認為這是從本地hadoop服務器到hdfs服務器）

• 與fileUtil >>文件相同的IOUtils.copyBytes不存在

• 與fileUtil >>文件相同的簡單File.renameTo不存在

  字符串source_path =“ \\\\服務器名稱\\文件夾\\ xxx.txt”;

  字符串hdfs_path =“ hdfs：// HADOOP_SERVER_NAME：Port / myfile / xxx.txt”;

  文件srcFile = new File（source_path）;

  文件dstFile =新文件（hdfs_path）;

  srcFile.renameTo（dstFile）;

我是否需要創建FTP或如何使用FTPFileSystem ？

或任何人有更好的解決方案或示例代碼

謝謝

Answer 1

FileSystem具有copyFromLocal方法：

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem;

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://abc:9000");

FileSystem fs= FileSystem.get(configuration);
fs.copyFromLocalFile(new Path("/source/directory/"), 
  new Path("/user/hadoop/dir"));