如何在 EKS 中廉价地运行不同大小的相同算法工作负载？ [等候接听]

Question

问题陈述

我正在尝试构建一个游戏引擎，其中：

• 游戏 state 存在于 PostgreSQL 中（可能是 AWS RDS for PostgreSQL）
• 模拟/游戏 state 由后端进程异步更新，并通过 HTTP API 提供给各种客户端。
• 允许游戏有多个实例/游戏世界同时进行。
• 游戏在一系列步骤中更新为棋盘游戏风格，其中每个步骤一次只处理一个游戏实例的数据，但多个游戏实例可能碰巧在不同的线程/进程中同时执行相同的步骤。 这是我所说的步骤的示例：
  1. 对于游戏实例 42，处理类型 X 的所有玩家移动。
  2. 对于游戏实例 42，更新所有关于 Y 的世界数据。
  3. 对于游戏实例 42，向在条件 Z 下订阅 X 和 Y 的玩家发送通知。
• 步骤及其相互依赖性形成有向无环图(DAG)。
• 由于数据的差异，不同游戏实例执行相同步骤所需的 memory 数量和处理能力可能会有很大差异。 例如，为游戏实例 42 执行步骤 1 可能需要 4 个 vCPU 中的 3 个和 AWS m5.xlarge 上的 10 GB ram 5 秒，但为游戏实例 256 执行相同的步骤可能只需要 2 个 vCPU 内核和 4 GB ram 在相同的 5 秒内执行。
• 每个步进游戏实例配对的资源需求应随着时间缓慢变化。 即，如果实例 42 的步骤 1 在上次运行时具有上述要求，我可以合理地得出结论，它将需要为下一次运行分配类似的资源。
• 目前，我认为每个游戏实例需要能够每 2.5 分钟循环通过大约 20 个步骤。

我试图弄清楚/决定的事情是如何最好地在几个不同的关注领域进行设置：

• 编排：我需要一种健壮、可靠、高性能、易于推理、可测试的方法来同时为许多不同的游戏实例协调许多步骤。
• 效率：我不想为不需要的计算/memory/网络资源付费。 理想情况下，一切都将在 EKS 中的现场实例上运行。

我正在考虑的解决方案

Spring 用于步骤执行的引导微服务：每个步骤都有一个 Spring 引导应用程序，另外还有一个用于步骤协调器的应用程序。 协调器将跟踪每个游戏实例当前在 DAG 中的进度，并将 HTTP 调用各个步骤服务以执行它们。 每个 Step Service 将有 1-N 个由部署管理的 Pod，并将在负载均衡器后面访问。

Apache Airflow: I am not very familiar with Apache Airflow, so I don't know all the details of how this would work yet. The DAG would exist in airflow and would execute individual steps either as pythons scripts, or by calling off to a java process, or by spinning up some Kubernetes object to process the workload.

一些问题

1. 我的假设可以吗？ 即我是否说过以上不是事实或隐含地依赖于错误假设的任何内容？
2. 我错过了一些明显的东西吗？ 即，我是否像一个不了解循环的新手程序员，询问如何对数组中的每个项目执行一次相同的操作？
3. 如果你过去解决了一系列相关的问题，你做了什么？ go 是怎么做到的？
4. 如果您必须解决我上面概述的问题，您将如何解决？ 你有什么建议？ 为什么？