基于作业的云处理解决方案

Question

这个赏金已经结束了。 此问题的答案有资格获得+50声望赏金。 赏金宽限期在13 小时后结束。 Dtag想让更多人关注这个问题。

我想在一个非常小的机器集群（<5）上做一些云处理。 这个处理应该是基于'jobs'，这里的jobs是运行在某个docker环境中的参数化脚本。 作为工作可能是什么的示例：

• 在 docker 图像“my_machine_learning_docker”中运行
• 从内部服务器下载一些机器学习数据集
• 在数据集上训练一些神经网络
• 产生一个结果并再次上传到服务器。

然而，我的用例并不局限于机器学习。 工作也可以是：

• 在 docker 图像“my_image_processing_docker”中运行
• 从机器上的某个文件夹下载一定数量的图像。
• 在每个图像上运行一些图像优化算法。
• 将处理后的图像上传到另一台服务器。

现在我正在寻找的是一些框架/工具，它跟踪计算服务器，接收我的工作并将它们分派到可用的服务器。 高级优先级排序、负载管理或其他东西并不是真正需要的。 应该可以通过 API 查询作业和服务器的状态（我想从 NodeJS 执行此操作）。 潜在地，我可以想象这个框架/工具可以在 AWS、Azure 或其他东西中动态启动这些计算服务器。 但这不是一个硬性要求。

我也想自己主持这个解决方案。 所以我不是在为此寻找商业解决方案。

现在我做了一些研究，我正在尝试做的事情与许多现有项目有相似之处，但我还没有“完全”找到我正在寻找的东西。 我发现的类似的东西是（选择）：

• CI/CD 解决方案，例如 Jenkins/Gitlab CI。 非常相似，但它似乎非常适合 CI/CD 案例，我不确定为我正在尝试做的事情滥用 CI/CD 解决方案是否是个好主意。
• Kube.netes：似乎能够以某种方式做到这一点，但据说非常复杂。 对于我正在尝试做的事情，它看起来也有点矫枉过正。
• Nomad：到目前为止似乎是最合适的，但它有一些我不太喜欢的专有氛围。 而且感觉还是有点复杂。。。

一般来说，有很多不同的项目和框架，很难找到最简单的解决方案来解决我想做的事情。

任何人都可以提出任何建议或指出我的方向吗？

谢谢

Answer 1

对于这个用例，我会使用 Jenkins，即使它在您看来是“简单”的。 您可以从最简单的流水线开始，它也可以处理日益复杂的工作。 Jenkins 有 API，很多插件，它可以作为容器在云环境中运行。

Answer 2

您可能正在寻找类似 AWS Batch 流程的内容： https://aws.amazon.com/batch/或 google datalflow https://cloud.google.com/dataflow 。 他们开箱即用地进行扩展、分布监控等。

但是如果你想自己动手......

选项 A：队列

对于您的工作分配，您实际上只是在寻找一个所有工作人员都在监听的简单消息队列。 在大多数消息传递平台中，队列支持传递一次语义。 例如

• 活跃MQ：https://activemq.apache.org/how-does-a-queue-compare-to-a-topic
• NATS: https://docs.nats.io/using-nats/developer/receiving/queues

使用队列进行负载分配是一种常见的模式。 基于队列的解决方案可以同时使用手动或自动负载平衡，因为您启动的工作人员越多，您从队列中消耗的工作人员实例就越多。 如果需要，可以使用相同的消息传递解决方案来收集结果，使用消息回复语义或专用回复通道。 您可以使用 resut 通道返回进度报告，然后您的主应用程序就会知道每个工作人员的状态。 或者，他们可以删除数据库中的状态。 这可能取决于您对收集结果的偏好以及结果集的大小。 如果足够大，您甚至可以将结果放入 S3 存储桶或某种文件系统中。

您可以使用一些简单的引用来管理工作人员 - 已经建议 Jenkins 绝对是我见过的用于在许多服务器上运行多个实例的解决方案，因为您只需要在每个工作人员上安装 jenkins 代理。 如果您拥有或管理运行它的物理服务器，这可以很容易地引用。 您也可以使用 TeamCity。

如果你想要云托管的东西，它可能取决于你使用的技术。 Kube.netties 在这里可能有点矫枉过正，但肯定可以用来启动 N 个节点并增加/减少工作人员的数量。 要自动缩放，您可以发布单个指标 - 队列深度 - 并根据队列的深度和您根据旋转新节点的成本与速度计算出的指标来触发工作人员数量的增加。他们被处理。

您还可以查看一些轻量级托管容器解决方案，例如 fly.io 或 Heroku，它们都比 K8s 更容易设置，并且可以让您轻松扩展。

方案二：Web工

您能否设计您的解决方案，使其可以作为云功能/网络工作者运行？ 如果是这样，您可以设置它们以便缩放完全自动化。 您将点击云 function 端点来请求每个作业。 托管引擎将负责工作人员的分布和扩展。 结果将在 HTTP 响应的正文中传回......一个 json blob。

对于这些解决方案，您的工作量可能太大，但如果它实际上相当轻便且快速，它可能是一个简单的选择。

我认为这些解决方案不会让您轻松查询任务状态。

如果这个选项看起来很吸引人，那么有很多选择：

• https://workers.cloudflare.com/
• https://cloud.google.com/functions
• https://aws.amazon.com/lambda/

选项 3：谷歌云任务

这是一个混合选项。 本质上，GCP 有一个队列分发工作流程，其中终点是云 function 或其他一些受支持的工作人员，包括使用 docker 图像的云运行。 我自己并没有真正使用过它，但也许它符合要求。

• https://cloud.google.com/tasks

Answer 3

当我看这样的问题时，我会考虑整个数据路径。 源图像和目标图像之间的 map 以及需要收集的任何元数据或状态信息。 此外，还需要处理故障情况，尤其是在要构建生产服务时。

我更喜欢运行 Python、Pyspark 和Pandas UDF来执行编排和图像处理。

S3FS 让我可以访问 s3。 如果使用 Azure 或 Google，Databricks 的 DBFS 可以让我无缝读取和写入云存储，而无需 2 个额外的复制文件步骤。

Pyspark 的binaryFile数据源让我可以列出所有要处理的输入文件。 Spark 允许我以批处理或增量/流式配置运行它。 此设计针对端到端数据流和数据可靠性进行了优化。

对于集群管理器，我使用 Databricks，这让我可以轻松地配置自动缩放集群。 Databricks 集群管理器允许用户部署docker 个容器或使用集群库或笔记本范围的库。

下面的示例假设图像大于 32MB 并对其进行带外处理。 如果图像在 KB 范围内，则不需要删除内容，并且内联处理可以更快（也更简单）。

伪代码：

df = (spark.read
    .format("binaryFile")
    .option("pathGlobFilter", "*.png")
    .load("/path/to/data")
    .drop("content")
)

from typing import Iterator
def do_image_xform(path:str):
  # Do image transformation, read from dbfs path, write to dbfs path
  ...
  # return xform status
  return "success"

@pandas_udf("string")
def do_image_xform_udf(iterator: Iterator[pd.Series]) -> Iterator[pd.Series]:
    for path in iterator:
        yield do_image_xform(path)

df_status = df.withColumn('status',do_image_xform_udf(col(path)))
df_status.saveAsTable("status_table") # triggers execution, saves status.