AWS EMR 集群在主节点关闭时终止
[英]AWS EMR cluster terminates while master is down
问题描述
目前，当 EMR 集群 master 停止时（关闭行为：停止而不是终止），我们会丢失集群，因为 EMR 的架构已经考虑到一旦 master 关闭，集群就会终止。 我们正处于一个硬件故障很常见的世界，并且在未来的某个时候 EMR master 可能会出现故障，那么我们如何恢复存储在 EMR 集群上的数据？
同样，如果核心节点关闭并尝试硬重启（停止和启动）； 终止核心节点，并且提供的核心节点出现以实现所需的核心容量，我们从终止的核心节点（数据损坏）中丢失所有数据 (HDD)。
是否有任何解决方案可以防止这些类型的终止？
2 个解决方案
解决方案1
0 2017-04-25 20:03:47
这些情况不太可能发生，因为 AWS 已将 Hadoop 配置为跨多个实例复制拆分数据。
来自 Amazon EMR 的常见问题解答：
问：Amazon EMR 的可靠性如何？
Amazon EMR 使用 Amazon 高度可用、经过验证的网络基础设施和数据中心来管理 Amazon EC2 计算实例集群。 Amazon EMR 使用经过行业验证的容错 Hadoop 软件作为其数据处理引擎。 Hadoop 将数据拆分为多个子集，并将每个子集分配给多个 Amazon EC2 实例。 因此，如果 Amazon EC2 实例无法处理一个数据子集，则可以使用另一个 Amazon EC2 实例的结果。
解决方案2
0 2020-03-25 20:56:47
随着 EMR 5.23.0 的发布，您现在可以使用三个主节点启动 EMR 集群并支持高可用性。 EMR 宣布支持多个主节点
如何使用AWS自动扩展来扩展具有1个主节点和2个核心节点的AWS EMR集群？ 有办法吗？
[英]How do I scale my AWS EMR cluster with 1 master and 2 core nodes using AWS auto scaling? Is there a way?
在AWS上创建新的EMR集群时，得到此错误`EMR_AutoScaling_DefaultRole无效'。
[英]While creating a new cluster of EMR on AWS, getting this error `EMR_AutoScaling_DefaultRole is invalid`
使用Java SDK从AWS EMR集群获取主公共DNS值
[英]Obtain Master public DNS value from AWS EMR Cluster using the Java SDK
如何从笔记本正确检查 AWS EMR 集群（主和核心）的资源使用情况
[英]How to properly check resource usage of AWS EMR cluster(master and cores) from notebook
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.