如果我使用org.apache.hadoop.mapreduce（new）API，如何配置Hadoop MapReduce映射器輸出壓縮？

Question

是否可以在新的mapreduce API上啟用映射器輸出壓縮，如果可以，請指出如何？ 我看到很多例子基於hadoop.mapred.JobConf API而沒有用於mapreduce API。

如果它不能通過new API配置，我可以做些什么來讓它工作嗎？

Answer 1

您可以使用以下代碼啟用地圖輸出壓縮：

public static void enableMapOutputCompress(Job job) {
    job.getConfiguration().setBoolean("mapred.compress.map.output", true);
    job.getConfiguration().setClass("mapred.map.output.compression.codec",
            SnappyCodec.class, CompressionCodec.class);
}

您可以將org.apache.hadoop.io.compress.SnappyCodec更改為其他壓縮類，例如： org.apache.hadoop.io.compress.GzipCodec ， org.apache.hadoop.io.compress.LzoCodec 。

我建議使用SnappyCodec。