Hadoop自定義Mapper輸出格式到Reducer

Question

HDFS的新手：

如果我錯了，請糾正我，但據我所知：

Mapper<Object, Text, Text, Text>

最后兩個Text是Mapper的返回類型。 說我想返回Text, <Text, IntWriteable> 。 我怎樣才能做到這一點？ 另外，我在文檔中應該看什么？

例如，映射器接收到對象和文本后，會對輸入文件中的數據行進行一些邏輯處理，我希望它返回類似

context.write(Text,[Text, IntWriteable])

Answer 1

您必須在hadoop中實現可寫的自定義。我指向一些網站，可能會有所幫助

https://halalhassan.wordpress.com/2013/12/15/custom-writables-in-hadoop-the-right-way/ http://www.hadoopmaterial.com/2013/10/custom-hadoop-writable- data-type.html

Answer 2

您可能需要定義自己的數據類型。 如果需要比較操作，請實現WritableComparable接口，否則只需實現Writable接口即可。

這是使用WritableComparable接口的示例：

public class MyDataType implements WritableComparable<MyDataType> {
    private Text name;
    private IntWritable age;

    @Override
    public void readFields(DataInput in) throws IOException {
        name.readFields(in);
        age.readFields(in);
    }

    @Override
    public void write(DataOutput out) throws IOException {
        name.write(out);
        age.write(out);
    }

    @Override
    public int compareTo(MyDataType o) {
        int nameCompare = name.compareTo(o.name);
        if(nameCompare != 0) {
            return nameCompare;
        } else {
            return age.compareTo(o.age);
        }
    }
}