是否有 AWS 点中断率随时间变化的数据？

Question

我们正在运行一个以 spot 实例作为任务节点的 EMR 集群。 EMR 集群正在执行有时会运行几个小时的 spark 作业。 spot 实例的中断会导致 spark 作业失败，然后需要我们完全重新启动该作业。

我可以看到AWS Spot Advisor上有一些关于“中断频率”的基本信息——但是，这个数据似乎很笼统，我看不到历史趋势，我也错过了基于多长时间中断的概率Spot 实例正在运行（这应该对中断概率有重大影响）。

这些数据在某处可用吗？ 或者是否有其他数据点可以用作代理？

Answer 1

我发现了这个 Github问题，它提供了指向 Spot Advisor S3 存储桶中的这个 JSON 文件的链接，其中包括中断率。

Answer 2

AWS Spot 实例是 AWS 云中以折扣价提供的备用计算容量。 当别处需要容量时，Amazon EC2 可以通过两分钟的通知中断这些实例。

AWS 提供有关 Spot 实例中断率的数据，以占该地区实例总数的百分比表示。 此数据在 AWS 管理控制台中可用，可以通过转到 EC2 仪表板并选择“Spot Requests”选项卡下的“Spot Request History”来访问。

您还可以使用 AWS CLI 或 AWS 开发工具包以编程方式检索此数据。 AWS CLI 中的 describe-spot-instance-request-history 命令可用于检索特定区域和时间段的 Spot 实例中断率。

以下是如何使用 AWS CLI 检索 us-east-1 区域过去一周的 Spot 实例中断率的示例：

aws ec2 describe-spot-instance-request-history --region us-east-1 --start-time $(date -v-7d '+%Y-%m-%dT%T')

请注意，Spot 实例中断率可能会随时间变化，具体取决于该地区对计算容量的需求和备用容量的可用性。 还需要注意的是，中断率无法保证，可能会因实例类型、可用区和其他因素而异。