客戶端到k8s集群之間的連接問題[TCP-reset-by-server]

Question

上周，我們將整個網絡基礎設施遷移到新設備。 我們還將Fortigate 200D更換為兩個新的Palo Alto 850。

我們按照本指南在我們的Azure Gateway辦公室之間創建了一個新的IPSec： https ： //knowledgebase.paloaltonetworks.com/KCSArticleDetail？id = kA10g000000Cm6WCAS

我們設法通過新的IPSec訪問Azure的所有開發環境，但是我們在從k8s節點下載文件時遇到了問題。

例如：我在k8s上托管了TeamCity。 當我從TeamCity節點下載工件時，2-3分鍾后我在chrome中出現'Failed - Network error'，然后下載，立即停止 - 在防火牆上，我看到會話是服務器的RST'tcp-rst-從服務器”。

我使用Palo Alto工程師和Azure工程師對我們的Palo Alto和Azure之間的IPSec進行了故障排除，我們在Palo Alto上找不到任何錯過配置。

我在Azure下使用IIS創建了一個新的Windows實例，並將一個大文件上傳到服務器，以便我可以從k8s和普通實例同時下載。

所以在2分鍾后，我從k8s URL上的服務器獲得TCP-rst，但是直接服務器仍在下載，沒有丟棄。

此外，我們認為沒有任何下降。 因此，我們在整個流程中所做的唯一改變是將防火牆更改為其他供應商。

有人有任何猜測嗎？

謝謝大家！

Answer 1

我擔心您的測試可能不太可靠（如果懷疑網絡相關問題，例如NIC），因為您新創建的VM和AKS群集在同一虛擬網絡中無法確定。

而不是創建新VM，重用現有的Worker節點，並通過NodePort服務公開TeamCity。 這將允許您消除客戶端和Web服務器（IIS）之間的任何可能的代理服務器（如果您的AKS環境中存在）。

是否值得添加有關您的AKS群集設置（正在使用的Azure CNI？）的任何詳細信息，以及您如何通過NGINX入口控制器或直接在POD的個人IP地址上直接訪問它來展示您的TeamCity應用程序？