從數據工廠管道中的 ML Studio 管道中獲取結果

Question

我們目前有一個數據工廠管道，它能夠成功調用我們的 ML Studio 管道之一。 ML Studio Pipeline 完成后，我們希望 Azure 數據工廠獲取 ML Studio Pipeline 的結果並將結果存儲在 SQL 服務器中。

我們發現 PipelineData class 根據子運行 id 將結果存儲在 blob 中的文件夾中，這使得數據工廠難以獲取結果。 然后，我們發現了 OutputFileDatasetConfig，它允許 ML Studio 將結果保存到數據工廠的 static 位置。 這對數據工廠很有效，除了 OutputFileDatasetConfig 並不總是有效:( 因為它是實驗性的 class。我們花了一段時間才弄清楚這一點，我們甚至為此創建了一個 stackoverflow 問題，我們解決了這個問題，可以在這里找到： Azure ML Studio ML 管道 - 異常：未找到臨時文件

我們返回使用 PipelineData class，它根據子運行 id 將結果存儲在 blob 中的文件夾中，但我們無法弄清楚如何讓數據工廠根據 ML Studio Pipeline 的子運行 id 找到 blob剛跑。

所以我的問題是，你如何讓數據工廠獲取從數據工廠管道觸發的 ML Studio 管道的結果？？？

這是我們正在嘗試構建的數據工廠管道的簡單視圖。

Step 1: Store Data in azure file store -->
Step 2: Run ML Studio scoring Pipeline -->
Step 3: Copy Results to SQL Server

第3步是我們無法弄清楚的步驟。 任何幫助將不勝感激。 感謝和快樂的編碼！

Answer 1

我想我回答了我自己的問題。 原來我的問題與幾個月前提出的另一個問題相似，他們的最佳解決方案對我有用。

如何將 Azure 機器學習批量評分結果寫入數據湖？

我能夠使用 DataTransferStep 如下。

transfer_ml_to_blob = DataTransferStep(
    name="transfer_ml_to_blob",
    source_data_reference=output_dir,
    destination_data_reference=blob_data_ref,
    compute_target=data_factory_compute,
    source_reference_type='directory', 
    destination_reference_type='directory'
) 

其他一些有用的資源：

https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

https://social.msdn.microsoft.com/Forums/en-US/026b9b1d-6961-4217-b179-0c1973ac1fa2/data-transfer-job-failed-with-unexpected-error-systeminvalidoperationexception-blob-contains-both?論壇=AzureMachineLearningService#7b46c5eb-b7f1-4c2f-a6d0-553672a83e7a

Azure ML PipelineData 與 DataTransferStep 結果為 0 字節文件