減少許多Hive -e調用的Hive啟動時間

Question

我以這種方式從命令行調用hive -e數百次：

cat hive_script.hql | parallel --gnu hive -e '{}' 

hive_script.hql中的每一行都可以獨立且以任何順序運行。

是否有任何--hiveconf參數可以減少啟動時間？ Apache網頁似乎暗示可能存在

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VariableSubstitution

"This is frustrating as Hive becomes closely coupled with scripting languages. The Hive startup time of a couple seconds is non-trivial when doing thousands of manipulations such as multiple hive -e invocations."

Answer 1

您無法加快hive -e的速度，但可以在一個腳本中放置多個查詢。

如果這不起作用，則需要查看HiveServer2並從JDBC客戶端調用查詢。