從多個數據塊實例收集集群信息

Question

我在我們的 azure 門戶中擁有管理員訪問權限，我可以使用它登錄到我們擁有的任何數據塊實例。 我想以編程方式從每個工作區收集信息，但我沒有像大多數指南期望的那樣登錄到每個數據塊實例（以獲取訪問令牌）。 我想在我們的預留實例中識別所有未使用 VM SKU 的工作區中的數據塊集群。

我如何收集 json 文件進行分析，其中包含：

• 所有數據塊工作區名稱
• 每個工作區中的所有數據塊集群，尤其是集群 VM SKU
• 為每個集群運行的所有虛擬機，包括虛擬機 SKU 和利用率指標

無需登錄到每個工作區，而只需使用我的 MS 憑據？

Answer 1

az-cli databricks 模塊和 databricks CLI 本身是不夠的。 值得慶幸的是，我們可以使用訪問令牌訪問每個工作區的 REST api，而無需手動登錄到每個工作區。

這是一個循環遍歷每個訂閱、查找工作區並收集 VM 信息的腳本。 它會將其轉儲到data.json文件中，該文件可用於分析。

Write-Progress "Acquiring access token";
# https://stackoverflow.com/a/62707371/11141271
$databricksResourceId="2ff814a6-3304-4ab8-85cb-cd0e6f879c1d"; # Programmatic ID for Azure Databricks
$token = az account get-access-token --resource $databricksResourceId --query accessToken --output tsv;

$subs = az account list | ConvertFrom-Json;
$total=New-Object -TypeName System.Collections.ArrayList;
$subIndex=0;
foreach ($sub in $subs)
{
    $subIndex++;
    Write-Progress "Gathering databricks instances" -Status $sub.name -PercentComplete ($subIndex / $subs.Count * 100) -Id 0;
    $workspaces = az databricks workspace list --subscription $sub.id --output json | ConvertFrom-Json;

    $i=0;
    foreach ($workspace in $workspaces)
    {
        $i++;
        Write-Progress "Gathering instance data" -Status $workspace.name -PercentComplete ($i/$workspaces.Count*100) -Id 1 -ParentId 0;
        $headers=@{
            "Authorization"= "Bearer " + $token;
            "X-Databricks-Azure-Workspace-Resource-Id" = $workspace.Id;
        }
        
        $url="https://$($workspace.workspaceUrl)/api/2.0/clusters/list"
        
        Write-Progress "Gathering clusters" -ParentId 1 -Id 2;
        $clusters=Invoke-RestMethod -Method Get -Uri $url -Headers $headers -ContentType "application/json" -UseBasicParsing


        Write-Progress "Gathering VMs" -ParentId 1 -Id 2;
        $workspace.managedResourceGroupId -match "/resourceGroups/(.+)$" > $null;
        $managedResourceGroupName = $matches.1;
        $vms = az vm list --resource-group $managedResourceGroupName --subscription $sub.id | ConvertFrom-Json;
        
        $vmData=New-Object -TypeName System.Collections.ArrayList;
        $j=0;
        foreach ($vm in $vms)
        {
            $j++;
            Write-Progress "Gathering VM metrics" -ParentId 2 -Id 3 -PercentComplete ($j / $vms.Count * 100);
            $metrics = az monitor metrics list `
                --resource $vm.id `
                --metrics "Percentage CPU" "Available Memory Bytes" "Disk Write Operations/sec" "Disk Read Operations/sec" "Disk Read Bytes" "Disk Write Bytes" `
                --aggregation "Average" "Maximum" "Minimum" "Total" `
                --interval "15m" `
                --offset "1h" `
                --subscription $sub.id `
            | ConvertFrom-Json;
            $vmData.Add(
                @{
                    vm = $vm
                    metrics = $metrics
                }
            ) > $null;
        }

        Write-Progress "Writing progress" -ParentId 1 -Id 2;
        $total.Add(
            @{
                subscriptionId=$sub.id
                subscriptionName=$sub.name
                workspace=$workspace
                clusters=$clusters.clusters
                vms=$vmData
            }
        ) > $null;
        $total | ConvertTo-Json -Depth 12 > data.json;
    }
}

也可以看看

嘗試通過 Active Directory 訪問 Azure Databricks API 時出現錯誤 403 用戶未獲授權