Kubernetes：一種手動將流量路由到不同副本的方法

Question

我有一個容器（機器學習應用程序），它能夠加載存儲在持久卷中的預訓練 ml 模型。 我可以要求應用程序通過 REST API 給出其名稱來加載特定的 model。

現在我想擴展這個應用程序，以便我可以在任何副本（不是所有副本）中加載 model 的任何內容，並且應該能夠解析來自該 model 的數據。

我知道這可以通過讓多個部署和多個服務指向每個部署來完成，這樣每個實例都有一個單獨的節點端口，我可以通過這些不同的節點端口訪問每個實例的 REST API。 通過這樣做，我可以記錄在我自己的哪個實例上加載了哪個 model。

是否有任何推薦的方法來完成此要求而無需多次部署但通過副本？ （就像在服務級別維護具有副本和手動負載均衡器的單個部署文件）

Answer 1

正如您所提到的，實現這一目標的首選方法是通過多個部署和服務。

除非手動創建，否則副本集由部署管理，您將無法在單個部署中使用多個運行不同版本的副本集。

對於您來說，每個版本擁有一個服務 + 部署和前面的單個入口來根據某些信息路由流量肯定會更容易。 它可以是 header、子域、路徑等。

要生成所有部署和服務，您可以查看kustomize 。