無法從日志分析中獲取與 azure 數據工廠映射數據流相關的日志

Question

我們正在努力實施自定義日志記錄解決方案。 我們需要的大部分信息已經存在於數據工廠分析解決方案的日志分析中，但是要獲取有關數據流的日志信息，這是一個挑戰。 查詢時，我們在 output 中得到這個錯誤。 “太大而無法解析”。

由於數據流是管道中復雜且關鍵的部分，我們迫切需要獲取數據流中每個活動的復制、跳過、讀取等數據。 你能幫助如何獲得這些信息嗎？

Answer 1

您可以通過向以下 REST 端點發出 POST 請求來獲取 ADF 門戶 UI 中顯示的相同信息。 您可以在以下鏈接中找到更多信息並閱讀有關身份驗證的信息https://docs.microsoft.com/en-us/rest/api/datafactory/pipelineruns/querybyfactory

您可以根據需要選擇按工廠查詢或特定管道運行 ID。

https://management.azure.com/subscriptions/<subscription id>/resourcegroups/<resource group name>/providers/Microsoft.DataFactory/factories/<ADF resource Name>/pipelineruns/<pipeline run id>/queryactivityruns?api-version=2018-06-01

以下是您可以從一個階段獲得的數據示例：

{
  "stage": 7,
  "partitionTimes": [
    950
  ],
  "lastUpdateTime": "2020-07-28 18:24:55.604",
  "bytesWritten": 0,
  "bytesRead": 544785954,
  "streams": {
    "CleanData": {
      "type": "select",
      "count": 241231,
      "partitionCounts": [
        950
      ],
      "cached": false
    },
    "ProductData": {
      "type": "source",
      "count": 241231,
      "partitionCounts": [
        950
      ],
      "cached": false
    }
  },
  "target": "MergeWithDeltaLakeTable",
  "time": 67589,
  "progressState": "Completed"
}