Kubernetes Nginx NodePort 上的入口 Controller

Question

我正在由 RKE 管理的 Kubernetes 集群上部署基于 nginx 的入口 controller。 （我也直接尝试过没有 RKE）。

在这两种情况下，它都尝试使用/绑定到主机上的Ports 80和443 ，但它失败了，因为在所有服务帐户的 pod security policy中我不允许主机端口。

事实上，我不需要直接在主机上访问入口，但我想从外部LoadBalancer访问ingress controller作为NodePort上的Service 。

有没有办法部署Nginx ingress controller不使用任何主机端口。

Answer 1

通过禁用 hostNetwork 来完成，并删除不必要的权限和功能：

C02W84XMHTD5:Downloads iahmad$ kubectl get deployments -n ingress-nginx -o yaml
apiVersion: v1
items:
- apiVersion: extensions/v1beta1
  kind: Deployment
  metadata:
    annotations:
      deployment.kubernetes.io/revision: "1"

    labels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
    name: nginx-ingress-controller
    namespace: ingress-nginx
    resourceVersion: "68427"
    selfLink: /apis/extensions/v1beta1/namespaces/ingress-nginx/deployments/nginx-ingress-controller
    uid: 0b92b556-12fa-11ea-9d82-08002762a3c5
  spec:
    progressDeadlineSeconds: 600
    replicas: 1
    revisionHistoryLimit: 10
    selector:
      matchLabels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
    strategy:
      rollingUpdate:
        maxSurge: 25%
        maxUnavailable: 25%
      type: RollingUpdate
    template:
      metadata:
        annotations:
          prometheus.io/port: "10254"
          prometheus.io/scrape: "true"
        creationTimestamp: null
        labels:
          app.kubernetes.io/name: ingress-nginx
          app.kubernetes.io/part-of: ingress-nginx
      spec:
        containers:
        - args:
          - /nginx-ingress-controller
          - --configmap=$(POD_NAMESPACE)/nginx-configuration
          - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
          - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
          - --publish-service=$(POD_NAMESPACE)/ingress-nginx
          - --annotations-prefix=nginx.ingress.kubernetes.io
          env:
          - name: POD_NAME
            valueFrom:
              fieldRef:
                apiVersion: v1
                fieldPath: metadata.name
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                apiVersion: v1
                fieldPath: metadata.namespace
          image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.26.1
          imagePullPolicy: IfNotPresent
          lifecycle:
            preStop:
              exec:
                command:
                - /wait-shutdown
          livenessProbe:
            failureThreshold: 3
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 10
          name: nginx-ingress-controller
          ports:
          - containerPort: 80
            name: http
            protocol: TCP
          - containerPort: 443
            name: https
            protocol: TCP
          readinessProbe:
            failureThreshold: 3
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 10
          resources: {}
          securityContext:
            runAsUser: 33
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
        dnsPolicy: ClusterFirst
        restartPolicy: Always
        schedulerName: default-scheduler
        securityContext: {}
        serviceAccount: nginx-ingress-serviceaccount
        serviceAccountName: nginx-ingress-serviceaccount
        terminationGracePeriodSeconds: 300
  status:
    availableReplicas: 1
    conditions:
    - lastTransitionTime: 2019-11-29T22:46:59Z
      lastUpdateTime: 2019-11-29T22:46:59Z
      message: Deployment has minimum availability.
      reason: MinimumReplicasAvailable
      status: "True"
      type: Available
    - lastTransitionTime: 2019-11-29T22:46:13Z
      lastUpdateTime: 2019-11-29T22:46:59Z
      message: ReplicaSet "nginx-ingress-controller-84758fb96c" has successfully progressed.
      reason: NewReplicaSetAvailable
      status: "True"
      type: Progressing
    observedGeneration: 1
    readyReplicas: 1
    replicas: 1
    updatedReplicas: 1
kind: List
metadata:
  resourceVersion: ""
  selfLink: ""

然后创建指向入口 controller 端口的节点端口服务：

C02W84XMHTD5:Downloads iahmad$ kubectl get svc -n ingress-nginx -o yaml
apiVersion: v1
items:
- apiVersion: v1
  kind: Service
  metadata:

    labels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
    name: ingress-nginx
    namespace: ingress-nginx
    resourceVersion: "68063"
    selfLink: /api/v1/namespaces/ingress-nginx/services/ingress-nginx
    uid: 7aa425a4-12f9-11ea-9d82-08002762a3c5
  spec:
    clusterIP: 10.97.110.93
    externalTrafficPolicy: Cluster
    ports:
    - name: http
      nodePort: 30864
      port: 80
      protocol: TCP
      targetPort: 80
    - name: https
      nodePort: 30716
      port: 443
      protocol: TCP
      targetPort: 443
    selector:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
    sessionAffinity: None
    type: NodePort
  status:
    loadBalancer: {}
kind: List
metadata:
  resourceVersion: ""
  selfLink: ""
C02W84XMHTD5:Downloads iahmad$ 

Answer 2

在有关NodePort的文档中，您可以发现该类型可以分配范围为 30000-32767 的端口。 但是，有一种解决方法。 如果您将添加一个带有请求范围的特殊标志--service-node-port-range ，则准许 controller 允许您使用端口 80 和 443 创建 NodePort。

您将需要 go 到/etc/kubernetes/manifests/ ，使用 sudo 编辑kube-apiserver.yaml并添加条目- --service-node-port-range=1-32767 。 之后，您需要保存它。

现在您需要创建service 。 为此，您需要编辑此 yaml并在端口中将node port添加到spec.ports

前：

 ports:
    - name: http
      port: 80
      targetPort: 80
      protocol: TCP
    - name: https
      port: 443
      targetPort: 443
      protocol: TCP

后：

  ports:
  - name: http
    nodePort: 80
    port: 80
    protocol: TCP
    targetPort: 80
  - name: https
    nodePort: 443
    port: 443
    protocol: TCP
    targetPort: 443

在这些更改之后，您可以在/etc/kubernetes/manifests/中再次编辑kube-apiserver.yaml并在- --service-node-port-range的同一行中使用#对其进行注释。

然后就可以curl这个NodePort地址和Node地址。

编辑：澄清后

Ingress 可以通过两种方式部署。 第一个是将Nginx部署为Deamonset ，这需要配置文件中的hostPort 。 但是还有另一种选择，您可以将Nginx部署为Deployment 。

NodeIP 和已知端口：DaemonSet 中的 Pod 可以使用 hostPort，以便通过节点 IP 访问 Pod。 客户端以某种方式知道节点 IP 列表，并且按照惯例知道端口。

但是在页面底部，您可以找到：

DaemonSet 与 Deployment 类似，它们都创建 Pod，并且这些 Pod 具有预期不会终止的进程（例如 web 服务器、存储服务器）。

将 Deployment 用于无状态服务，例如前端，其中扩展和缩减副本数量和推出更新比准确控制 Pod 运行在哪个主机上更重要。 当一个 Pod 的副本总是在所有或某些主机上运行很重要，并且当它需要在其他 Pod 之前启动时，使用 DaemonSet。

您需要将Ingress部署为Deployment而不是Deamonset 。

Nginx 部署示例可在此处找到。 由于部署不需要hostPort ，您将能够在没有此参数的情况下创建 pod。