從 Azure Data Lake Storage 復制文件

Question

我已在 Azure 數據工廠中設置管道以 1) 將文件從存儲復制到 Lake 2) u-sql 以合並/處理復制的文件並輸出到單個文件 3) 打開並處理此合並文件（插入到 DB）。

無論我嘗試什么，權限明智，第 3 步都失敗了。 Azure 數據湖的所有演示和教程都停止在生成聲稱成功的輸出文件。 工作完成等。

我發現 docs.microsoft 對此非常復雜（可能是由於 Gen1/Gen2 Lake 造成的？？）。 當然，我正在嘗試做的是一個常見的場景，獲取一些數據文件，合並和輸出，處理輸出。

u-sql 進程創建的文件似乎與其他文件有不同的所有者，所以最常見的錯誤是 403。 在 ADF 中設置管道時，我可以瀏覽到 Lake Storage 等上的文件夾進行配置，但是如果不對 Lake 存儲中的文件設置所有權限，則無法打開文件。 當我在 ADF 中調試/運行管道時，新文件輸出沒有這些權限，因此管道中的進程輸出文件步驟失敗。

所有這些資源都設置在同一個 Azure 訂閱中。

Answer 1

我現在已經解決了這個權限問題。 如果有人感興趣，請在此處提供一些信息和指導... https://www.sqlservercentral.com/stairways/stairway-to-u-sql

此外，這門課程是相當不錯的介紹。

https://app.pluralsight.com/library/courses/u-sql-azure-data-lake/