使用 podAntiAffinity 规则确保 pod 在不同的抢占式节点上运行

Question

我有一个在 GKE 上运行的 3 节点集群。 所有节点都是可抢占的，这意味着它们可以随时被杀死，并且通常不会超过 24 小时。 如果一个节点被杀死，自动缩放器会启动一个新节点来替换它。 发生这种情况时，这通常需要一分钟左右。

在我的集群中，我有一个副本设置为 3 的部署。我的意图是每个 pod 将分布在所有节点上，这样只要我的集群中至少有一个节点处于活动状态，我的应用程序就会继续运行。

我使用了以下关联配置，以便 pod 更喜欢在与已经为该部署运行 pod 的主机不同的主机上运行：

spec:
  affinity:
    podAntiAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - podAffinityTerm:
          labelSelector:
            matchExpressions:
            - key: app
              operator: In
              values:
              - my-app
          topologyKey: kubernetes.io/hostname
        weight: 100

当我从 0 扩展我的应用程序时，这似乎按预期工作。 但在实践中会发生以下情况：

1. 假设属于my-app副本集A 、 B和C的 pod 分别在节点1 、 2和3上运行。 所以 state 将是：

  1 -> A
  2 -> B
  3 -> C

2. 节点 3 被 pod C 杀死，导致副本集中有 2 个正在运行的 pod。
3. 调度器会自动开始调度一个新的 pod，以使副本集恢复到 3。
4. 它为my-app寻找一个没有任何 pod 的节点。 由于自动标量仍在启动替换节点 ( 4 ) 的过程中，因此只有1和2可用。
5. 它在节点1上调度新的 pod D
6. 节点4最终上线，但由于my-app已安排其所有 pod，因此它没有运行任何 pod。 结果 state 是

  1 -> A, D
  2 -> B
  4 -> -

这不是理想的配置。 出现问题是因为创建新节点存在延迟，并且计划不知道它很快就会可用。

是否有更好的配置可以确保 pod 始终分布在节点上？ 我在想像preferredDuringSchedulingpreferredDuringExecution这样的指令可能会这样做，但那不存在。

Answer 1

preferredDuringSchedulingIgnoredDuringExecution意味着它是一种偏好而不是硬性要求，这可以解释 1 -> A, D

我相信您正在搜索requiredDuringSchedulingIgnoredDuringExecution以及反关联性，以便您拥有分布式工作负载。

有关更多详细信息和示例，请查看此github 。

Answer 2

您应该使用DaemonSets而不是部署，或者您可以同时使用两者。

DaemonSets 确保每个节点运行一个 pod。

将 Deployment 用于无状态服务，例如前端，其中扩展和缩减副本数量和推出更新比准确控制 Pod 运行在哪个主机上更重要。 当一个 Pod 的副本总是在所有或某些主机上运行很重要，并且当它需要在其他 Pod 之前启动时，使用 DaemonSet。

您应该注意，将 DaemonSets 与云提供商 pre-mptibles 机器一起使用是一种常见的做法。

您应该记住，所有机器都可能同时下降 go。

当您运行 DaemonSets 和 Deployments 或 ReplicationControllers 时，k8s 的好处是您可以为 pod 赋予相同的标签，然后使用服务选择它们会将它们聚合在一起以服务客户端请求。