Kubernetes是否在內部維護pods / jobs排隊？

Question

我們遇到了kubernetes排隊的大問題。

我們通過Workflow管理器提交作業，即Airflow到集群管理器，即AWS Batch。 由於AWS批處理存在限制，因此無論提交到隊列的作業數是多少，批處理都會同時執行與集群中可用的vCPU相等的作業數。 為克服AWS批次的這一限制，我們計划通過AWS批次遷移到Kubernetes。

但是，我們不確定kubernetes如何處理這個問題，在探索時，我們將在以下鏈接中獲取隊列的示例。

1. https://kubernetes.io/docs/tasks/job/fine-parallel-processing-work-queue/

2. https://kubernetes.io/docs/tasks/job/coarse-parallel-processing-work-queue/

在這些示例中，我們需要將任務寫入隊列並通過我們的代碼從隊列中讀取。 但是，這里解釋的案例並不是我們想要的。 在我們的例子中，Apache airflow的Kubernetes_Pod_operator將pod / job提交給K8集群，我們期望K8將這些作業放在其內部隊列中，並將根據可用的集群容量在集群上執行它們。

• 我們想知道，k8內部是否支持隊列並將作業/ pod放入隊列中，並根據可用的群集容量在群集上拾取並執行它們？

• 任何解決這個問題的方法？ 或者它是k8的限制，我們應該開發自己的解決方案嗎？

Answer 1

您可以在作業yamls中配置容器資源。 請閱讀以下鏈接，了解如何實現此目的： https ： //kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#how-pods-with-resource-requests-are-scheduled

此配置將確保作業保持在“待處理”狀態，直到滿足要求。 Kubernetes調度程序使用內部隊列，其中存儲所有“待處理”和“調度程序失敗”作業。