删除Hive UDF中的无用依赖项

Question

我正在Java Maven项目中为Hive编写一组用户定义函数（UDF）。

我正在使用maven程序集插件生成一个超级jar。 但是，我还包括很多依赖项，我确定hive已经在它的类路径上，例如SLF4j。

是否有一种简单的方法（工具）来了解蜂巢类路径中已有的内容？ 我正在使用Horton Works的HDP 2.2

Answer 1

依赖：在Maven Dependency Plugin中分析会有所帮助。

dependency:analyze分析这个项目的依赖关系，并确定哪些是：used和声明的; 使用和未声明; 未使用和声明。

依赖性：分析

依赖：树是另一个可能有用的东西。 这有工具可以让您自己进行分析。

dependency:tree显示该项目的依赖关系树。

依赖性：树

Answer 2

获取Hive的ClassPath中包含的所有jar的列表的Query是：

hive> list jars;

输出看起来像

file:/usr/local/…..*.jar
/usr/local/…..*.jar

带有file：前缀的jar位置是默认情况下ClassPath中可用的位置。 其他用户使用add jar命令显式添加。