配置單元查詢卡在執行中間

Question

同事，

我在蜂巢中使用sql腳本執行bash文件時遇到一個問題-它始終卡在同一位置map = 100％，reduce = 67％

我嘗試使用具有不同變體和其他調整特性的映射器和歸約器數量：

SET hive.exec.parallel=true;
SET hive.default.fileformat=RCFILE;
SET hive.stats.autogather=false;
SET hive.exec.compress.output=true; 
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
SET mapred.output.compression.type=BLOCK;
SET hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

但是結果仍然相同-它不斷返回減少進度的67％。

蜂巢版本-0.13.0.2.XXX

SQL包含來自多個來源的表創建-多個表的簡單連接。

任何想法如何調整？

任何幫助將不勝感激。

Answer 1

減速器的階段包括：

• 隨機播放
• 分類
• 降低

如果卡住率為67％，則表示“隨機播放”和“排序”已完成，但您的所有分區都無法在“還原”階段成功。 Reduce階段是您的實際Reducer代碼。 這表明您的代碼無法完成。 您應該檢查您的代碼，並查看配置單元日志，以查看為什么您的代碼無法運行。

Answer 2

因此，發現有多個重復的記錄，這就是執行被卡住的原因。