在Java HDFS中讀取文件

Question

我在群集上運行程序時遇到問題，決定從功能映射和精簡中的hdfs文件讀取。 如何逐行讀取hdfs文件並刻錄以讀取ArrayList中的行？

Answer 1

只是一個演示代碼段：

Path path = new Path(filePath);
FileSystem fs = path.getFileSystem(context.getConfiguration()); // context of mapper or reducer
FSDataInputStream fdsis = fs.open(path);
BufferedReader br = new BufferedReader(new InputStreamReader(fdsis));
String line = "";
ArrayList<String> lines = new ArrayList<String>();
while ((line = br.readLine()) != null) {
    lines.add(line);
}
br.close();