了解 AWS Glue 詳細的作業指標

Question

請參閱 CPU 負載的附加屏幕截圖：驅動程序和執行程序。 前 6 分鍾看起來不錯，多個執行程序處於活動狀態。 但 6 分鍾后，圖表僅顯示執行者平均線和驅動力線。 當我將鼠標放在線上時，沒有所有 17 個執行器的使用數據。 這是否意味着所有執行程序在 6 分鍾后都處於非活動狀態？ 執行者平均值是如何計算的？

謝謝你。

Answer 1

在與 AWS 支持人員交談后，我終於得到了為什么在 04:07 之后沒有單獨的 executor 行而只有 Executor Average 和 Driver 的答案。

有人告訴我，每個作業有 62 個執行程序，但是，每個時刻最多使用 17 個執行程序。 所以Executor Average是不同時刻17個執行者的不同集合的平均值。 默認的 CPU Load 圖表只顯示 Executor 1 到 17，而不是 18 到 62。為了顯示其他 executor，您需要手動添加指標。