减少许多Hive -e调用的Hive启动时间

Question

我以这种方式从命令行调用hive -e数百次：

cat hive_script.hql | parallel --gnu hive -e '{}' 

hive_script.hql中的每一行都可以独立且以任何顺序运行。

是否有任何--hiveconf参数可以减少启动时间？ Apache网页似乎暗示可能存在

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VariableSubstitution

"This is frustrating as Hive becomes closely coupled with scripting languages. The Hive startup time of a couple seconds is non-trivial when doing thousands of manipulations such as multiple hive -e invocations."

Answer 1

您无法加快hive -e的速度，但可以在一个脚本中放置多个查询。

如果这不起作用，则需要查看HiveServer2并从JDBC客户端调用查询。