頂點失敗。 Azure HDINSIGHT 配置單元中的內存不足錯誤

Question

我在加入 2 個數據集時遇到內存不足問題； 一個包含 39M 行，另一個包含 360K 行。

我有 2 個工作節點，每個工作節點的最大內存為 125 GB。

在為節點上的所有 YARN 容器分配的 Yarn 內存中 = 96GB

最小容器大小（內存）= 3072

在 Hive 設置中：

hive.tez.java.opts=-Xmx2728M -Xms2728M -Djava.net.preferIPv4Stack=true -XX:NewRatio=8 -XX:+UseNUMA -XX:+UseG1GC -XX:+ResizeTLAB

hive.tez.container.size=3410

我應該設置什么值來擺脫內存不足問題。

Answer 1

我通過使用增加 Yarn 內存分配的最小容器大小（內存）= 3072 到 3840 為節點上的所有 YARN 容器分配的內存 96 到 120 GB（每個節點有 120 GB）解決了這個問題

分配給節點上所有容器的物理 CPU 的百分比 80%

虛擬核心數 8

https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-hadoop-hive-out-of-memory-error-oom