java.io.IOException：找不到LZO編解碼器，無法運行

Question

我試圖在蜂巢腳本中使用lzo，但收到此錯誤消息。 看來我在類路徑中沒有lzo的類。

之前有其他人遇到過這個問題嗎，如何解決這個問題，也許我需要知道的是，在哪里可以獲取用於lzo壓縮的jar文件thx。

Answer 1

在一個（或所有）節點中，Lzo配置不正確。

在core-site.xml中添加以下配置。

<property> 
  <name>io.compression.codecs</name> 
  <value>org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value> 
</property> 
<property> 
  <name>io.compression.codec.lzo.class</name> 
  <value>com.hadoop.compression.lzo.LzoCodec</value> 
</property> 

Answer 2

以下是有關如何設置LZO壓縮的一些詳細說明。