如何添加第三方jar到mapreduce工作？

Question

尋找將第三方jar添加到mapreduce作業的解決方案。 目前，我們正在將第三方jar捆綁到map reduce作業中。 似乎mapreduce工作jar的大小有時會很高。 還有另一種方法可以解決這個問題

Answer 1

我相信這里需要“ -libjars jar1，jar2，...”

Answer 2

通常，使用uber jar路由是一個不錯的選擇，如果您對不同的MapReduce作業依賴於同一jar的不同版本，則將jar添加到泛型java類路徑中會出現問題。

Answer 3

使用下面的句子。

導出HADOOP_CLASSPATH = $ HADOOP_CLASSPATH：/ path / to / my / jar1：/ path / to / my / jar2

然后，您可以照常運行hadoop作業： hadoop jar [mainClass] 。 有關詳情，請了這一點 。