當我運行Sort MR作業時，壓縮不起作用

Question

我將hadoop-2.4.0集群配置為壓縮地圖輸出，並且將mapred-site.xml設置為這樣

<property>
  <name>mapreduce.map.output.compress</name>
  <value>true</value>
</property>
<property>
  <name>mapreduce.map.output.compress.codec</name>
  <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

運行InvertedIndex時，壓縮有效，並且在“減少隨機字節”中可以看到不同的計數器。

但是，當我運行Sort時，壓縮和不壓縮之間的“減少隨機字節”沒有什么不同。 這意味着壓縮不起作用。

好奇怪 我被卡住了。 你知道我在做什么錯嗎？

Answer 1

我認為，如果這些程序之一已在Driver類（主方法）中明確設置了屬性，則該屬性為： conf.setCompressMapOutput(false); ，則此設置將覆蓋mapred-site.xml設置。