如何使用具有缩放功能的 kube.netes 处理作业队列

Question

我需要一个基于 docker/python worker 的可扩展队列处理。 我想到了 kube.netes。 但是，我不确定最好的控制器/服务。

基于 azure 函数，我得到传入的 http 流量，将简单消息添加到存储队列。 需要处理这些消息并将结果反馈到结果队列中。

为了处理这些队列消息，我开发了 python 代码循环队列并处理这些作业。 每次循环成功后，消息将从源队列中移除，并将结果写入结果队列。 一旦队列为空，代码就存在。

所以我创建了一个运行 python 代码的 docker 图像。 如果启动了多个容器，队列显然会工作得更快。 我还实施了新的 Azure Kube.netes 服务来扩展它。 作为 kube.netes 的新手，我阅读了有关工作范例的工作队列，直到工作准备就绪。 我的简单 yaml 模板如下所示：

apiVersion: batch/v1
kind: Job
metadata:
  name: myjob
spec:
  parallelism: 4
  template:
    metadata:
      name: myjob
    spec:
      containers:
      - name: c
        image: repo/image:tag

我现在的问题是，作业无法重新启动。

通常，队列中充满了一些条目，然后有一段时间没有任何反应。 然后又会出现更大的队列，需要尽快处理。 当然，那时我想再次运行该作业，但这似乎是不可能的。 另外，如果队列中没有任何内容，我想将占用空间减少到最低限度。

所以我的问题是，对于这种情况我应该使用什么架构/构造，是否有简单的 yaml 示例？

Answer 1

这可能是一个“愚蠢/愚蠢”的答案，但它简单，强大，而且我已经在生产系统中使用它几个月了。

我有一个类似的系统，我有一个队列有时会被清空，有时会被砰的一声。 我编写了类似的队列处理器，它一次处理队列中的一条消息，如果队列为空则终止。 它被设置为在Kubernetes工作中运行。

诀窍是：我创建了一个CronJob来定期启动一个新的作业实例，并且该作业允许无限并行。 如果队列为空，则立即终止（“缩小”）。 如果队列被砰击并且最后一个作业尚未完成，则另一个实例启动（“向上扩展”）。

无需查询队列和扩展状态集或任何东西，如果队列空置，则不会消耗任何资源。 您可能必须调整CronJob间隔以微调它对队列填充的反应速度，但它应该做出很好的反应。

Answer 2

这是一种常见的模式，有几种方法可以构建解决方案。

一个常见的解决方案是让一个应用程序与一组工作人员总是轮询你的队列（这可能是你的python脚本，但你需要使它成为一项服务）通常你会想要使用Kubernetes 部署可能与水平Pod自动缩放器基于队列或CPU的某些指标。

在您的情况下，您将要使您的脚本成为守护程序并在有任何项目时轮询队列（我假设您已经在处理具有并行性的竞争条件）。 然后使用Kubernetes部署部署此守护程序，然后您可以扩展和缩小基于指标或计划。

已经有许多不同语言的作业调度程序。 一个非常受欢迎的是Airflow ，它已经具备了“工人”的能力，但对于单个python脚本来说这可能有点过分。

Answer 3

为此，您可以通过多种方式使用Keda ：

扩展部署

允许您定义您希望 KEDA 基于扩展触发器扩展的 Kube.netes Deployment 或 StatefulSet。 KEDA 将监控该服务，并根据发生的事件自动相应地扩展/缩减您的资源。

https://keda.sh/docs/2.9/concepts/scaling-deployments/

缩放作业

您还可以将代码作为 Kube.netes 作业来运行和扩展。 考虑此选项的主要原因是处理长时间运行的执行。 不是在部署中处理多个事件，而是为每个检测到的事件安排一个 Kube.netes 作业。 该作业将初始化，从消息源中提取单个事件，然后处理完成并终止。

https://keda.sh/docs/2.9/concepts/scaling-jobs/