是否有 AWS 點中斷率隨時間變化的數據？

Question

我們正在運行一個以 spot 實例作為任務節點的 EMR 集群。 EMR 集群正在執行有時會運行幾個小時的 spark 作業。 spot 實例的中斷會導致 spark 作業失敗，然后需要我們完全重新啟動該作業。

我可以看到AWS Spot Advisor上有一些關於“中斷頻率”的基本信息——但是，這個數據似乎很籠統，我看不到歷史趨勢，我也錯過了基於多長時間中斷的概率Spot 實例正在運行（這應該對中斷概率有重大影響）。

這些數據在某處可用嗎？ 或者是否有其他數據點可以用作代理？

Answer 1

我發現了這個 Github問題，它提供了指向 Spot Advisor S3 存儲桶中的這個 JSON 文件的鏈接，其中包括中斷率。

Answer 2

AWS Spot 實例是 AWS 雲中以折扣價提供的備用計算容量。 當別處需要容量時，Amazon EC2 可以通過兩分鍾的通知中斷這些實例。

AWS 提供有關 Spot 實例中斷率的數據，以占該地區實例總數的百分比表示。 此數據在 AWS 管理控制台中可用，可以通過轉到 EC2 儀表板並選擇“Spot Requests”選項卡下的“Spot Request History”來訪問。

您還可以使用 AWS CLI 或 AWS 開發工具包以編程方式檢索此數據。 AWS CLI 中的 describe-spot-instance-request-history 命令可用於檢索特定區域和時間段的 Spot 實例中斷率。

以下是如何使用 AWS CLI 檢索 us-east-1 區域過去一周的 Spot 實例中斷率的示例：

aws ec2 describe-spot-instance-request-history --region us-east-1 --start-time $(date -v-7d '+%Y-%m-%dT%T')

請注意，Spot 實例中斷率可能會隨時間變化，具體取決於該地區對計算容量的需求和備用容量的可用性。 還需要注意的是，中斷率無法保證，可能會因實例類型、可用區和其他因素而異。