比較兩個 azure 數據工廠管道的基准

Question

我為相同的功能構建了兩個具有不同轉換的管道。

是否有任何基准可以在效率和/或資源利用率方面比較這兩個管道？

詳細解釋一下： Pipeline 1: Uses only 2 Mapping data flows。 一個有 4 個轉換，另一個有 20 個轉換。 管道 2：使用 2 個映射數據流。 一個有 4 個轉換，第二個 DF 另一個有 15 個轉換和 Databricks notebook。

我想在 1.Efficieny 2.Resource utilization 3.Costs 方面比較這兩個管道

任何輸入？

謝謝

Answer 1

我認為您可以比較管道的輸出，output 包含您想要的值。

這是管道執行的 output 示例：

{
    "dataRead": 8192,
    "dataWritten": 612,
    "filesRead": 1,
    "sourcePeakConnections": 1,
    "sinkPeakConnections": 2,
    "rowsRead": 1,
    "rowsCopied": 1,
    "copyDuration": 12,
    "throughput": 0.667,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 4,
    "billingReference": {
        "activityType": "DataMovement",
        "billableDuration": [
            {
                "meterType": "AzureIR",
                "duration": 0.06666666666666667,
                "unit": "DIUHours"
            }
        ]
    },
    "usedParallelCopies": 1,
    "executionDetails": [
        {
            "source": {
                "type": "AzureBlobStorage",
                "region": "Central US"
            },
            "sink": {
                "type": "AzureSqlDatabase",
                "region": "East US"
            },
            "status": "Succeeded",
            "start": "2020-09-01T08:20:09.1734161Z",
            "duration": 12,
            "usedDataIntegrationUnits": 4,
            "usedParallelCopies": 1,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 9
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 3,
                    "details": {
                        "listingSource": {
                            "type": "AzureBlobStorage",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AzureBlobStorage",
                            "workingDuration": 0
                        },
                        "writingToSink": {
                            "type": "AzureSqlDatabase",
                            "workingDuration": 0
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 9,
                "transferDuration": 3
            }
        }
    ],
    "dataConsistencyVerification": {
        "VerificationResult": "NotVerified"
    },
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

在門戶網站上：