如何在Hive中包含jar（Amazon Hadoop env）

Question

我需要在Hive中包含更新的protobuf jar（高于2.5.0）。 无论如何，无论我把罐子放在哪里-它都被推到类路径的末尾。 我如何确保该jar位于Hive的类路径的开头？

Answer 1

要将您自己的jar添加到Hive类路径中，使其包含在类路径的开头，并且不会被某些hadoop jar重载，则需要设置以下Env变量-

导出HADOOP_USER_CLASSPATH_FIRST = true

这表明HADOOP_CLASSPATH将比一般的hadoop jars具有更高的优先级。

在Amazon emr实例上，您可以将其添加到/home/hadoop/conf/hadoop-env.sh，并在此文件中修改类路径。

当您想重载hadoop通用类路径随附的protobuf之类的jar时，这很有用。

Answer 2

您可能考虑做的另一件事是在jar中包含protobuf类。 您将需要使用Assembly插件来构建jar，它将使用这些类。 它是一个选择。