官方文檔中每個節點的 Kubernetes pod 的 GKE 不匹配限制

Question

我在谷歌雲平台上調整一個小型 kubernetes 集群，我的參考是以下文檔： https://cloud.google.com/kubernetes-engine/docs/how-to/flexible-pod-cidr#overview

所以我有

• 3個節點
• /24 用於吊艙
• /25 用於服務
• 集群創建中每個節點集 16 個 pod

當我部署集群並啟動 POD 的 nginx 副本時，我最多只能達到 30 個，而我希望達到 48 個 POD。

根據谷歌文檔，我應該有一個 /27（我可以看到在每個節點上分配）和 9-16 之間的節點范圍。 現在，雖然考慮到 9-16 范圍，平均 10 個節點是公平的，但我不明白為什么它沒有擴大到這個數字以上。

這是供您查看的代碼，我無法查看是否有任何其他限制：

gcloud compute networks subnets create $SERVICE_PROJECT1_SUB_K8S_NODES \
--network $SHAREDVPC --region $REGION \
--range 10.222.5.32/28 --secondary-range \
$SERVICE_PROJECT1_SUB_K8S_PODS=10.222.6.0/24, \
$SERVICE_PROJECT1_SUB_K8S_SERVICES=10.222.5.128/25 \
--enable-private-ip-google-access

gcloud beta container clusters create service1-k8s-cluster \
--zone $REGION \
--network projects/$HOST_PROJECT_ID/global/networks/$SHAREDVPC \
--subnetwork projects/$HOST_PROJECT_ID/regions/$REGION/subnetworks/$SERVICE_PROJECT1_SUB_K8S_NODES \
--cluster-secondary-range-name $SERVICE_PROJECT1_SUB_K8S_PODS \
--services-secondary-range-name $SERVICE_PROJECT1_SUB_K8S_SERVICES \
--enable-master-authorized-networks \
--master-authorized-networks 10.222.1.0/24 \
--enable-ip-alias \
--enable-private-nodes \
--enable-private-endpoint \
--master-ipv4-cidr $SERVICE_PROJECT1_SUB_K8S_MASTER \
--no-enable-basic-auth \
--no-issue-client-certificate \
--enable-master-global-access \
--num-nodes 1 \
--default-max-pods-per-node 16 \
--max-pods-per-node 16 \
--machine-type n1-standard-2

我在 POD 中看到的錯誤

Events:
  Type     Reason             Age                    From                Message
  ----     ------             ----                   ----                -------
  Normal   NotTriggerScaleUp  4m53s (x151 over 29m)  cluster-autoscaler  pod didn't trigger scale-up (it wouldn't fit if a new node is added):
  Warning  FailedScheduling   8s (x22 over 29m)      default-scheduler   0/3 nodes are available: 3 Insufficient pods.

Answer 1

您永遠不會達到 48 個閾值，有一些用於守護程序集的 IP 會阻止您達到您為自己設置的高閾值，例如在我的集群中我有以下

 kube-system                fluentd-gcp-v3.1.1-grkv8                                          100m (1%)     1 (12%)     200Mi (0%)       500Mi (1%)     10d
  kube-system                kube-proxy-gke-eng-e2e-main-gke-e2e-n1-highmem-8-501281f5-9ck0    100m (1%)     0 (0%)      0 (0%)           0 (0%)         3d19h
  kube-system                network-metering-agent-ck74l                                      0 (0%)        0 (0%)      0 (0%)           0 (0%)         10d
  kube-system                prometheus-to-sd-qqsn6                                            1m (0%)       3m (0%)     20Mi (0%)        37Mi (0%)      10d
  monitor                    prometheus-prometheus-node-exporter-8229c                         0 (0%)        0 (0%)      0 (0%)           0 (0%)         11d
  neuvector                  neuvector-enforcer-pod-p79j5                                      100m (1%)     2 (25%)     128Mi (0%)       1Gi (2%)       11d

這是針對每個節點，守護程序集在每個節點上部署這些 pod，有效地將我的應用程序 pod 可用的 IP 數量減少了 6。