AWS EMR 自動故障轉移到另一個 EMR 集群

Question

我們目前正在為我們的一個應用程序建立一個 EMR 集群，由於我們希望 EMR 設置具有彈性，我們希望在不同於主 EMR 集群可用區的可用區中創建備用 EMR 集群。 但是，如果主 EMR 集群 AZ 出現故障，我們不確定如何自動故障轉移到輔助 EMR。

有什么想法嗎？

Answer 1

EMR 從 2019 年 5 月開始支持 HA [1]

[1] https://aws.amazon.com/about-aws/whats-new/2019/04/amazon-emr-announces-support-for-multiple-master-nodes-to-enable-high-availability-for -EMR-應用程序/

Answer 2

目前 EMR 不支持高可用性。 由於 EMR 使用 EMRFS 處理 S3 中的數據，您可以將數據可靠地存儲在 s3 中，即使 EMR 的 AZ 出現故障，您的數據也可以安全地保存在 s3 中。

EMR 支持 Cloud-watch Event，可以觸發集群狀態變化的 sns 通知。 您可以使用相同的方法在另一個可用區中啟動新集群。

Answer 3

那將是不需要的。 如果它們失敗，EMR 設計將發出一個新的工作節點或任務節點。 對於主節點，您可以訪問前面提到的所有詳細的 Cloud Watch 服務，一種解決方案是設置 Lambda 服務，以便在主節點出現故障時配置新集群。 正如其他答案中所述，您的數據持久性是一個單獨的問題，但在大多數情況下，默認情況下 EMR 存儲駐留在 S3 存儲桶上（可用於所有區域和最高數據持久性）。