如何清理已終止的 AWS EMR 集群列表？

Question

我有大約 88 個 EMR 集群在我的 AWS 賬戶中終止。 如何清理已終止的 EMR 集群列表？ AWS 會清理清單嗎？

為什么我沒有看到終止的集群從集群列表中刪除，就像 EC2 實例頁面的樣子？

謝謝！

尼古拉斯

Answer 1

您無法真正清理它們，如果您調用elastic-mapreduce --list則會顯示您在過去兩周創建的作業流。

我解決這個問題的方法是elastic-mapreduce --list --active只檢查活動作業。

或者，您可以按日期過濾它們elastic-mapreduce --list --created-after=DATETIME

以 XML 日期時間格式列出在指定時間和日期之后創建的所有集群。

Answer 2

有一個單任務集群是很常見的，一個集群以其工作終止（即集群終止），而不是等待新的工作到來。 因此，如果在終止后立即清除有關已完成集群的數據，則很難甚至無法分析其統計信息、已執行作業的參數、失敗原因（如果有）等。

不要擔心終止的集群，數據將在兩周內從列表中清除。

Answer 3

當元數據被刪除並且 Amazon EMR 將元數據保留兩個月時，將從控制台中刪除終止的集群。

參考鏈接： https : //docs.aws.amazon.com/emr/latest/ManagementGuide/emr-gs-reset-environment.html