簡體   English   中英

蜂巢:具有多個插入查詢:失敗:SemanticException應該不會發生

[英]Hive : with multi insert query: FAILED: SemanticException Should not happened

我將多插入查詢用於優化目的,這肯定對我有很大幫助,但是每天運行時,我發現3到4個id(計數超過1000萬)在reducer上花費了太多時間。 為了解決這個問題,我已經實現了skewjoin優化屬性,但是它拋出了

"FAILED: SemanticException Should not happened"

我正在使用的屬性

set hive.exec.compress.output=true;
set mapreduce.output.fileoutputformat.compress=true;
set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;  
set mapreduce.output.fileoutputformat.compress.type=BLOCK;
SET hive.optimize.skewjoin=true;
set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.intermediate.compression.type=BLOCK;
set hive.optimize.skewjoin=true;
set hive.skewjoin.key=100000;
set hive.skewjoin.mapjoin.map.tasks=10000;
set hive.skewjoin.mapjoin.min.split=33554432;

請建議如何優化此偏斜數據。(每個新的運行ID都會不同)

set hive.optimize.skewjoin=true; ---> set hive.optimize.skewjoin=false;

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM