[英]Hive Tez reducers are running super slow
我加入了多个表格,总行数不超过250亿。 最重要的是,我正在进行聚合。 这是我的hive设置,如下所示,我用它来生成最终输出。 我不确定如何调整查询并使其运行得更快。 目前,我正在进行反复试验,看看是否可以产生一些结果,但这似乎并没有起作用。映射器运行速度更快但是减速器需要永远完成。 有人可以分享你对此的看法吗? 谢谢。
SET hive.execution.engine=tez;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.qubole.cleanup.partial.data.on.failure=true;
SET hive.tez.container.size=8192;
SET tez.task.resource.memory.mb=8192;
SET tez.task.resource.cpu.vcores=2;
SET hive.mapred.mode=nonstrict;
SET hive.qubole.dynpart.use.prefix=true;
SET hive.vectorized.execution.enabled=true;
SET hive.vectorized.execution.reduce.enabled =true;
SET hive.cbo.enable=true;
SET hive.compute.query.using.stats=true;
SET hive.stats.fetch.column.stats=true;
SET hive.stats.fetch.partition.stats=true;
SET mapred.reduce.tasks = -1;
SET hive.auto.convert.join.noconditionaltask.size=2730;
SET hive.auto.convert.join=true;
SET hive.auto.convert.join.noconditionaltask=true;
SET hive.auto.convert.join.noconditionaltask.size=8053063680;
SET hive.compute.query.using.stats=true;
SET hive.stats.fetch.column.stats=true;
SET hive.stats.fetch.partition.stats=true;
SET mapreduce.job.reduce.slowstart.completedmaps=0.8;
set hive.tez.auto.reducer.parallelism = true;
set hive.exec.reducers.max=100;
set hive.exec.reducers.bytes.per.reducer=1024000000;
SQL:
SELECT D.d
,D.b
,COUNT(DISTINCT A.x) AS cnt
,SUM(c) AS sum
FROM A
LEFT JOIN
B
ON A.a = B.b
LEFT JOIN
C
ON B.b = C.c
JOIN
D
ON A.a >= D.d
AND A.a <= D.d
GROUP BY 1,2
CLUSTER BY D.d;
还没有查询计划,所以也许还有别的东西,但这些设置肯定会限制reducers并行性:
set hive.exec.reducers.max=100;
set hive.exec.reducers.bytes.per.reducer=1024000000;
我建议增加允许的减速器数量并减少每个减速器的字节数,这将增加减速器的并行度:
set hive.exec.reducers.max=5000;
set hive.exec.reducers.bytes.per.reducer=67108864;
此外,Hive 1.2.0+还提供计数(不同)的自动重写优化 。 检查此设置,默认情况下应为true
:
hive.optimize.distinct.rewrite=true;
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.