無法刪除在 AWS 上使用 Kops 部署的 Kubernetes 集群

Question

我無法刪除/更新集群。 我越來越：

    I0107 19:54:02.618454 8397 request_logger.go:45] AWS request: autoscaling/DescribeAutoScalingGroups
I0107 19:54:02.812764 8397 request_logger.go:45] AWS request: ec2/DescribeNatGateways
W0107 19:54:03.032646 8397 executor.go:130] error running task "ElasticIP/us-east-1a.my.domain" (9m56s remaining to succeed): error finding AssociatedNatGatewayRouteTable: error listing NatGateway %!q(*string=0xc42169eb08): NatGatewayNotFound: NAT gateway nat-083300682d9a0fa74 was not found
status code: 400, request id: 8408a79d-1f8f-4886-83d9-ae0a26c1cc47
I0107 19:54:03.032738 8397 executor.go:103] Tasks: 98 done / 101 total; 1 can run
I0107 19:54:03.032828 8397 executor.go:178] Executing task "ElasticIP/us-east-1a.my.domain": *awstasks.ElasticIP {"Name":"us-east-1a.my.domain","Lifecycle":"Sync","ID":null,"PublicIP":null,"TagOnSubnet":null,"Tags":{"KubernetesCluster":"my.domain","Name":"us-east-1a.my.domain","kubernetes.io/cluster/my.domain":"owned"},"AssociatedNatGatewayRouteTable":{"Name":"private-us-east-1a.my.domain","Lifecycle":"Sync","ID":"rtb-089bd4ffc062a3b15","VPC":{"Name":"my.domain","Lifecycle":"Sync","ID":"vpc-0b638e55c11fc9021","CIDR":"172.10.0.0/16","EnableDNSHostnames":null,"EnableDNSSupport":true,"Shared":true,"Tags":null},"Shared":false,"Tags":{"KubernetesCluster":"my.domain","Name":"private-us-east-1a.my.domain","kubernetes.io/cluster/my.domain":"owned","kubernetes.io/kops/role":"private-us-east-1a"}}}
I0107 19:54:03.033039 8397 natgateway.go:205] trying to match NatGateway via RouteTable rtb-089bd4ffc062a3b15
I0107 19:54:03.033304 8397 request_logger.go:45] AWS request: ec2/DescribeRouteTables
I0107 19:54:03.741980 8397 request_logger.go:45] AWS request: ec2/DescribeNatGateways
W0107 19:54:03.981744 8397 executor.go:130] error running task "ElasticIP/us-east-1a.my.domain" (9m55s remaining to succeed): error finding AssociatedNatGatewayRouteTable: error listing NatGateway %!q(*string=0xc4217e8da8): NatGatewayNotFound: NAT gateway nat-083300682d9a0fa74 was not found
status code: 400, request id: 3be6843a-38e2-4584-b2cd-b29f6a132d2d
I0107 19:54:03.981881 8397 executor.go:145] No progress made, sleeping before retrying 1 failed task(s)
I0107 19:54:13.982261 8397 executor.go:103] Tasks: 98 done / 101 total; 1 can run

我更改 kubectl 版本為其他集群執行一些任務，然后返回最新版本，我一直在測試新集群刪除、創建、更新沒有問題......直到現在，我有這個集群，我無法修改和花錢，當然我可以刪除 kops IAM，但我將它用於同一帳戶的其他環境。

至少，是否有一個文件可以讓我編輯 kops 對 AWS 的看法，這樣我就可以刪除這個 object？ 我在 config/spec S3 文件中找不到。

由於這個原因，我有一個無法使用的已部署集群，當然我可以拒絕 kops 權限並刪除集群，因此 kops 無法重新創建它，但我也有其他集群。

kops 版本：版本 1.10.0 (git-8b52ea6d1)

Answer 1

我刪除了存儲桶，然后手動刪除了所有資源。

對於未來的讀者，請在導出集群配置的存儲桶中啟用版本控制。

Answer 2

幾分鍾前我們遇到了同樣的問題。 我們能夠通過搜索指向相應 NatGateway（狀態為 Blackhole）的 VPC RouteTable 條目來修復它。 刪除這些之后，我們終於能夠刪除集群而不會出現任何其他問題。

這個問題評論為我們指明了正確的方向。

Answer 3

首先確保您使用正確的憑據連接到集群

export KUBECONFIG=<kubeconfig_location> 
AWS_ACCESS_KEY_ID=<access-key> AWS_SECRET_ACCESS_KEY=<Secret_KEY> kops validate cluster --wait 10m --state="<S3-bucket>" --name=<CLUSTER_NAME>

如果驗證成功，則可以使用以下命令刪除集群

kops delete cluster --state="<bucket_name>" --yes

您可能會發現一些待刪除的資源。 這意味着它們是在外部創建的（可能是手動創建的）。 例如，您在同一個 VPC 中創建了數據庫子網，並且數據庫實例在同一個子網中運行。 這意味着在您刪除 DB 和 Db 子網之前，kops 無法刪除 VPC。

Answer 4

只是刪除集群的主節點就死了。 我在測試 KOPS 時遇到了類似的問題，並導致了一筆小額付款。 當我刪除一個子節點時，會立即創建一個新節點，這是可以理解的。 所以我刪除了主節點，集群就死了。