AWS ECS：使用单容器主机自动扩展 EC2 自动扩展组

Question

赏金将在 2 天内到期。 此问题的答案有资格获得+50声望赏金。 乔丹希望引起更多关注这个问题。

我有一个相当有趣的情况，我试图弄清楚如何在 AWS ECS/EC2 上进行配置。

我有一个具有以下要求的 Dockerized 应用程序：

• 非常低的 CPU 使用率（~256 CPU）
• 中等内存使用（~256 MB）
• 每个容器都需要一个仅分配给该容器的公共 IP 地址（它不与任何其他容器共享）。

由于成本原因，Fargate 不是一个选项，因此我们正在寻找基于 EC2 的解决方案。

由于 CPU 和内存使用率很低，并且我需要为每个容器提供唯一的公共 IP 地址，因此 ECS 容量提供者的最佳选择似乎是使用最小实例（ t4g.nano 、 t3a.nano ）的 EC2 自动扩展组等），以及host或bridge网络模式（如果我明确指定静态主机/容器端口映射，则任何一种模式都将限制为每个主机一个容器）。 这为我提供了主机到容器的一对一映射，这正是我所需要的。

问题是，如何为此设置 ECS 集群管理的自动缩放？

我已经配置了一个 EC2 自动扩展组（Terraform）：

resource "aws_autoscaling_group" "ecs" {
  name                = "ecs"
  vpc_zone_identifier = var.subnet_ids
  min_size            = 1
  max_size            = 20
  capacity_rebalance  = true
  default_cooldown    = 0
  health_check_type   = "EC2"
  mixed_instances_policy {
    ...
  }
  instance_refresh {
    strategy = "Rolling"
  }
}

我已将自动扩展组配置为具有托管扩展的 ECS 容量提供程序：

resource "aws_ecs_capacity_provider" "ec2" {
  name = "ec2"
  auto_scaling_group_provider {
    auto_scaling_group_arn = aws_autoscaling_group.ecs.arn
    managed_scaling {
      target_capacity           = 100
      instance_warmup_period    = 30
      minimum_scaling_step_size = 1
      maximum_scaling_step_size = aws_autoscaling_group.ecs.max_size
      status                    = "ENABLED"
    }
    managed_termination_protection = "DISABLED"
  }
}

我已将此容量提供程序配置为 ECS 集群的唯一提供程序：

resource "aws_ecs_cluster_capacity_providers" "this" {
  cluster_name = aws_ecs_cluster.this.name
  capacity_providers = [
    aws_ecs_capacity_provider.ec2.name
  ]
  default_capacity_provider_strategy {
    capacity_provider = aws_ecs_capacity_provider.ec2.name
    weight            = 100
    base              = 0
  }
}

我已经设置了 ECS 服务：

resource "aws_ecs_service" "this" {
  name            = local.task_family
  cluster         = aws_ecs_cluster.this.id
  task_definition = aws_ecs_task_definition.this.arn
  desired_count   = 1
  launch_type     = "EC2"
  lifecycle {
    ignore_changes = [desired_count]
  }
}

我为 ECS 服务设置了 App Autoscaling Target：

resource "aws_appautoscaling_target" "ecs" {
  min_capacity       = 5
  max_capacity       = 20
  resource_id        = "service/${aws_ecs_cluster.this.name}/${aws_ecs_service.this.name}"
  scalable_dimension = "ecs:service:DesiredCount"
  service_namespace  = "ecs"
}

我已经为该目标设置了应用程序自动缩放策略：

resource "aws_appautoscaling_policy" "ecs_policy" {
  name               = "ecs-scaling"
  policy_type        = "TargetTrackingScaling"
  resource_id        = aws_appautoscaling_target.ecs.resource_id
  scalable_dimension = aws_appautoscaling_target.ecs.scalable_dimension
  service_namespace  = aws_appautoscaling_target.ecs.service_namespace

  target_tracking_scaling_policy_configuration {
    target_value       = 70
    scale_in_cooldown  = 0
    scale_out_cooldown = 0
    predefined_metric_specification {
      predefined_metric_type = "ECSServiceAverageCPUUtilization"
    }
  }
}

这在它部署、服务运行以及我的应用程序正常运行的意义上是“有效的”。 但是，缩放不起作用。 正如您在aws_autoscaling_group中看到的，我已将最小值设置为 1 个实例，将最大值设置为 20 个实例。 在aws_appautoscaling_target中，我至少有 5 个（在生产中为 1，但在测试中为 5）和最多 20 个（最大值与最大实例数匹配，因为它是一对一的）。

当我部署它时，AWS 控制台中的 ECS 服务显示：

• 所需数量：5
• 待定计数：0
• 运行次数：1

在事件日志中，它说：

service my-service 无法放置任务，因为没有容器实例满足其所有要求。 最接近的匹配容器实例 xyzabc1234 的可用内存不足。

因此，它试图实现所需的最小容器数量（5），并且它认识到 EC2 实例不足，但由于某种原因（这是我无法弄清楚的），它并没有扩展 EC2 实例的数量以满足所需的容器数量。

从AWS 的文档中，它说：

当启动的任务无法放置在可用实例上时，Auto Scaling 组会通过启动新实例进行横向扩展。 当有正在运行的实例没有任务时，Auto Scaling 组通过终止没有正在运行的任务的实例来缩减。

由于启动的任务不能放在任何可用的实例上，它似乎应该自动扩展 Auto Scaling 组。

关于为什么它没有这样做的任何想法？

Answer 1

我发现了问题：

resource "aws_ecs_service" "this" {
...
  launch_type     = "EC2"
...
}

如果您指定启动类型，它将覆盖集群的默认容量提供程序策略，并且不会使用托管 EC2 自动扩展。 正确的做法是：

resource "aws_ecs_service" "this" {
  name            = local.task_family
  cluster         = aws_ecs_cluster.this.id
  task_definition = aws_ecs_task_definition.this.arn
  desired_count   = 1

  capacity_provider_strategy {
    capacity_provider = aws_ecs_capacity_provider.ec2.name
    weight            = 100
    base              = 0
  }

  lifecycle {
    ignore_changes = [desired_count]
  }
}

如果您不提供launch_type或capacity_provider_strategy ，它应该使用集群的默认策略（确实如此），但 Terraform 显示出永久的差异。

在此更改之后，一切都开始正常缩放！