刪除Hive UDF中的無用依賴項

Question

我正在Java Maven項目中為Hive編寫一組用戶定義函數（UDF）。

我正在使用maven程序集插件生成一個超級jar。 但是，我還包括很多依賴項，我確定hive已經在它的類路徑上，例如SLF4j。

是否有一種簡單的方法（工具）來了解蜂巢類路徑中已有的內容？ 我正在使用Horton Works的HDP 2.2

Answer 1

依賴：在Maven Dependency Plugin中分析會有所幫助。

dependency:analyze分析這個項目的依賴關系，並確定哪些是：used和聲明的; 使用和未聲明; 未使用和聲明。

依賴性：分析

依賴：樹是另一個可能有用的東西。 這有工具可以讓您自己進行分析。

dependency:tree顯示該項目的依賴關系樹。

依賴性：樹

Answer 2

獲取Hive的ClassPath中包含的所有jar的列表的Query是：

hive> list jars;

輸出看起來像

file:/usr/local/…..*.jar
/usr/local/…..*.jar

帶有file：前綴的jar位置是默認情況下ClassPath中可用的位置。 其他用戶使用add jar命令顯式添加。