如何將內容從映射器寫入文件-Hadoop

Question

如何將映射器的內容寫入文件。 這樣好嗎

public class MyMapper extends
        Mapper<Object, Text, Text, MatrixWritable > {
public void map(Object key, Text value, Context context)
            throws IOException, InterruptedException {

 Configuration conf = new Configuration();
  FileSystem fs = FileSystem.get(conf);

  Path inputfile = new Path("in/map");
  BufferedWriter getdatabuffer = new BufferedWriter(new OutputStreamWriter(fs.create(inputfile)));
  if(value.toString()!= null){
             getdatabuffer.write(value.toString());
         }
             getdatabuffer.close();

如果我的輸入文件被分割，上面的代碼是否工作正常？

在reducer中，我正在組合所有映射器數據。

編輯

        Path inputfile = new Path("in/map");
             FSDataOutputStream out = fs.create(inputfile);
         if(value.toString()!= null){
            out.writeBytes(value.toString());
         }
            out.close();

Answer 1

映射器任務在Hadoop集群中的多個節點上同時運行。 您使用普通Java Writer類進行寫入的方法僅由於需要使用HDFS API寫入數據而無法使用。

而是在map方法中使用context.write()將數據寫入HDFS文件。