如何刪除Hive中每個節點的分區限制？

Question

我在Hive中有一個分區表。 對於每個節點，我將分區限制設置為2000。

set hive.exec.max.dynamic.partitions.pernode=2000

現在到了2000年之后，我面臨一個問題。 所以我試圖了解是否有可能消除此限制？

簡而言之，我不想為hive.exec.max.dynamic.partitions.pernode設置任何值。它應該處理任意數量的分區。

那么有人可以幫我嗎？

Answer 1

我以前遇到過這個問題。 在SQL的末尾添加partition_column分配的。

insert overwrite table table_A partition (date_id)
select xxxxxxxx
from table_B
distribute by date_id;

如果使用“ distribute by”，則相同的date_id值將改組為一個化簡器。 因此reducer可以處理多個date_id而不是隨機的date_id（這可能包括所有date_id）。

Answer 2

據我知道，能不能做到，蜂巢強制的，因為它可以創建動態分區的數量是有限的。 就我所知，此限制與以下事實有關：每個分區存儲在單獨的HDFS目錄中，因此為了防止性能問題，預先以某種方式限制了分區的數量。