Hive - 如何知道我當前使用的是哪個執行引擎

Question

我想以這樣一種方式自動化我的 hive ETL 工作流：由於內存限制，我需要在執行引擎（Tez 或 MR）的基礎上執行 hive 作業。

你能幫忙嗎，因為我想在我的整個工作流程之間進行交叉檢查，我目前正在處理哪個執行引擎。

提前致謝。

Answer 1

Hive 執行引擎由hive.execution.engine屬性控制。 它可以是以下之一：

• mr (Map Reduce, 默認)
• tez （ tez執行，僅適用於 Hadoop 2）
• spark （Spark 執行，適用於 Hive 1.1.0 以上）。

可以使用 hive/beeline cli 讀取和更新該屬性

• 用於閱讀 - SET hive.execution.engine;
• 用於更新 - SET hive.execution.engine=tez;

如果您想以編程方式獲取此值，則必須選擇支持 JDBC、Java、Python、PHP、Ruby、C++ 等多種方式的 HiveClient。

參考文獻

• https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=82903061#ConfigurationProperties-hive.execution.engine
• https://cwiki.apache.org/confluence/display/Hive/HiveClient