處理AWS EMR集群中任務節點的現貨終止
[英]Handling spot termination of task nodes in AWS EMR cluster
問題描述
對於我的項目，我們想創建一個具有按需主服務器，核心節點和現場任務節點的EMR集群。 由於我們的整個數據都在S3中，因此我們希望將核心節點限制為1，並且僅將任務節點用於處理。
由於任務節點是現場的，因此我在如何處理現場終止方面受阻。 每當競價型實例關閉時，我都想代替它們創建按需任務節點。
識別任務節點即將終止的最佳方法是什么？ 通過describeCluster API調用？ 還是通過現貨終止通知？
提前致謝。
1 個解決方案
解決方案1
0 2016-07-29 20:03:37
我建議“現貨終止通知”是最佳選擇。 在填海過程中添加了兩分鍾的警告，正式稱為“競價型實例終止通知”。 您的應用程序可以利用這段時間來保存其狀態，上載最終日志文件或將自身從Elastic Load Balancer中刪除。 此更改使更多類型的應用程序可以從競價型實例的規模和低價格中受益。
這個博客對您來說確實是一本好書。
https://aws.amazon.com/blogs/aws/new-ec2-spot-instance-termination-notices/
EMR創建任務和核心節點無法為現貨定價指定為“最大需求量”
[英]EMR creation task and core nodes not able to specify as “Max on demand” for spot pricing
如何使用AWS自動擴展來擴展具有1個主節點和2個核心節點的AWS EMR集群？ 有辦法嗎？
[英]How do I scale my AWS EMR cluster with 1 master and 2 core nodes using AWS auto scaling? Is there a way?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.