Oozie 工作流中的 Hive 操作執行參數設置

Question

我正在使用 Hive Action 通過 Oozie 執行查詢。 我將 TEZ 和 MR 設置為查詢的執行引擎。 如何設置最大可能數量的減速器以執行查詢？ 目前，我正在使用mapred.reduce.tasks但它需要一個靜態數字。

真正的問題是，當我在 Hive CLI 上執行相同的查詢時，Hive 選擇的減速器數量是最佳的，而不是 1； 那么我的 Oozie 工作缺少什么設置，它為所有查詢選擇了 1 個減速器？

Answer 1

通常控制 Hive 查詢的減速器數量的理想方法是使用hive.exec.reducers.bytes.per.reducer屬性。

默認值為 1 GB，其中每 1 GB 大小的輸入文件將分派一個減速器。

嘗試根據預期的最大減速器數量來相對降低該值。 通過這種方式，您可以消除使用mapred.reduce.tasks屬性設置減速器的靜態數量。

Answer 2

在mapred.reduce.tasks = -1運行 hive 操作時，您應該始終為mapred.reduce.tasks = -1設置配置屬性。 這將強制根據您的系統和可用資源創建最佳減速器值。