自托管集成運行時的水平/垂直擴展

Question

我們正在尋找自動化的方法來水平、垂直擴展 ADF 中使用的自托管集成運行時虛擬機的拉力。

閱讀 Microsoft 文檔不提供答案。

Answer 1

好吧，我沒有經驗，所以我只能給您一個理論上的答案，但這也許對您有所幫助。

AFAIK，兩種方法都不是現成的可配置的。 為了進行橫向擴展，您必須自己部署其他IR機器。 因此，可能要創建一個可以從docker或kubernetes進行配置的映像，並安裝IR和先決條件。 IR安裝提供了一個PowerShell腳本，可用於創建自動連接。

對於放大/縮小，您必須運行一些腳本來縮放您的虛擬機。 在IaaS解決方案（fe）Azure VM中，應該可以通過API調用來更改您的VM。

對於這兩種情況，您都必須安裝某種監視程序，以監視IR負載並根據需要進行更改。 我認為數據工廠中提供的措施應該可以。 也許您可以使用Log Analyics來監視負載。

我很好奇您的用例。

Answer 2

我的解決方案僅用於向外擴展/向內擴展，因為如果您要向上/向下擴展，則必須重新啟動 VM，這會導致停機和作業失敗等。

在高層次上，這個解決方案只需要 3 件簡單的事情：

1. 發生橫向擴展時觸發的 Azure 指標警報（VM 啟動）
2. Azure 指標警報在應該發生縮減時觸發（VM 解除分配）
3. 由 Azure 警報觸發並實際執行 VM 的啟動/停止以及與此相關的任何其他自動化的邏輯應用程序（例如，在發生縮小/縮小時發布到團隊頻道）

這里有更多關於我們如何設置警報條件的細節，但要記住的主要事情是（IR CPU %、IR 隊列長度、節點數，可能還有 IR 內存）

向外擴展

縮小

警報操作

正如您在下面看到的，我們有觸發 1 個邏輯應用程序的警報，使用傳遞給邏輯應用程序的有效負載，您可以確定邏輯應用程序是應該啟動 VM，還是停止 VM。 （以及任何其他附加操作）

邏輯應用

由於時間原因（並且取決於共享 IR 的 ADF 數量），管道活動可能會發送到節點 2，同時向節點 2 的 VM 發送解除分配命令。我有目前還沒有看到這種情況，但是根據您的需要調整警報條件可以幫助避免這種情況。 隨意調整警報的條件、粒度、閾值等。這不是一刀切的解決方案。