使用ACS引擎将现有Azure VNET集成到Kubernetes群集

Question

由于在Azure Portal中部署k8s群集不允许我将现有的Azure VENT附加到该群集，因此我选择ACS-Engine。 默认的k8s网络环境如下：

Private VNet    10.0.0.0/8
Master Subnet   10.240.255.0/24
Agent Subnet    10.240.0.0/24
Pod CIDR        10.244.0.0/16
Service CIDR    10.0.0.0/16

我想要实现的是这样的：

Private VNet    10.25.0.0/24
Master Subnet   10.25.0.0/27
Agent Subnet    10.25.0.32/27
Pod CIDR        10.25.0.64/27
Service CIDR    10.0.0.0/16 (Default by ACS) 

为此，我首先创建了一个地址空间为10.25.0.0/24的Azure VNET（acs-vnet）。 我一起创建了两个子网“ msubnet”和“ asubnet” 10.25.0.32/27和10.25.0.64/27。 另外，我将模板json修改如下：

 "properties": {
    "orchestratorProfile": {
      "orchestratorType": "Kubernetes",
      "orchestratorVersion": "1.6.2",
      "kubernetesConfig": {
        "clusterSubnet": "10.25.0.64/27"
      }
    },
    "masterProfile": {
      "count": 1,
      "dnsPrefix": "acsengine",
      "vmSize": "Standard_D2_v2",
      "vnetSubnetId": "/subscriptions/...../resourceGroups/.../providers/.../subnets/msubnet",
      "firstConsecutiveStaticIP": "10.25.0.5"
    },
    "agentPoolProfiles": [
      {
        "name": "agent",
        "count": 2,
        "vmSize": "Standard_A1",
        "availabilityProfile": "AvailabilitySet",
        "vnetSubnetId": "/subscriptions/.../resourceGroups/.../providers/.../subnets/asubnet",
        "osType": "Windows"
      }
    ],

但是，由于未分配POD CIDR，事实证明主机尚未准备就绪：

user@k8s-master-0000000-0:~$ kubectl get node
NAME                    STATUS     AGE       VERSION
10000acs9001            Ready      31m       v1.6.0-alpha.1.2959+451473d43a2072
k8s-master-10008476-0   NotReady   34m       v1.6.2

当我运行“ kubectl描述节点”时，它显示

  Ready                 False   Wed, 14 Jul 2017 04:40:38 +0000         Wed, 14 Jul 2017 04:12:03 +0000         KubeletNotReady                 runtime network not ready: NetworkReady=false ginNotReady message:docker: network plugin is not ready: Kubenet does not have netConfig. This is most likely due to lack of PodCIDR

使用此结果，我怀疑这可能是由于分配给POD CIDR的子网的大小。 所以我又尝试了两种情况。

案例一

Private VNet    10.25.0.0/16
Master Subnet   10.25.0.0/24
Agent Subnet    10.25.1.0/24
Pod CIDR        10.25.2.0/24
Service CIDR    10.0.0.0/16 (Default by ACS) 

案例二

Private VNet    10.24.0.0/14
Master Subnet   10.25.0.0/24
Agent Subnet    10.25.1.0/24
Pod CIDR        10.24.0.0/16
Service CIDR    10.0.0.0/16 (Default by ACS) 

对于情况I，它失败了，因为10.25.2.0/24仅分配给主服务器，而不分配给代理。 此外，出现以下消息。 我确认这不是服务主体问题，并在Azure中检查了已创建的Azure路由未定义路由。

“NoRouteCreated    RouteController failed to create a route”

对于案例II，在此阶段一切正常。

有了这个结果，我的问题是：

1. 是否应为POD CIDR分配最小子网大小？

2. 如果我想将VNET附加20.0.0.0/8到群集，而不是原始的10.0.0.0/8群集，请执行以下步骤？ 更改生成的azuredeploy.json文件中“ $ env：VIP_CIDR = \\“ 10.0.0.0/8\\"\\n\\n”上的值会有所帮助吗？

3. 如果我添加vnetSubnetId将现有的VNET集成到我的k8s集群（例如20.0.0.0/16），则与预分配的10.0.0.0/8是否有冲突？ （据我了解，Azure SDN不知道此私有VNET？）

4. 我在现有的VNET环境中有一个VM，并且想使用VIP（Azure SDN不知道的Service CIDR）连接到Azure中的服务。 有什么建议吗？

任何见解将不胜感激。