Oozie 工作流中的 Hive 操作执行参数设置

Question

我正在使用 Hive Action 通过 Oozie 执行查询。 我将 TEZ 和 MR 设置为查询的执行引擎。 如何设置最大可能数量的减速器以执行查询？ 目前，我正在使用mapred.reduce.tasks但它需要一个静态数字。

真正的问题是，当我在 Hive CLI 上执行相同的查询时，Hive 选择的减速器数量是最佳的，而不是 1； 那么我的 Oozie 工作缺少什么设置，它为所有查询选择了 1 个减速器？

Answer 1

通常控制 Hive 查询的减速器数量的理想方法是使用hive.exec.reducers.bytes.per.reducer属性。

默认值为 1 GB，其中每 1 GB 大小的输入文件将分派一个减速器。

尝试根据预期的最大减速器数量来相对降低该值。 通过这种方式，您可以消除使用mapred.reduce.tasks属性设置减速器的静态数量。

Answer 2

在mapred.reduce.tasks = -1运行 hive 操作时，您应该始终为mapred.reduce.tasks = -1设置配置属性。 这将强制根据您的系统和可用资源创建最佳减速器值。