Azure Pipeline Data flow ERROR 不允許在非空目錄上執行此操作

Question

我最近幾天在 azure 工廠遇到問題，上周這個錯誤沒有問題並且 ADF（Azure 數據工廠）管道沒有變化，但最近 3 天發生了這個錯誤

{"StatusCode":"DFExecutorUserError","Message":"Job failed due to reason: at Sink 'savetocurated': org.apache.hadoop.fs.azure.AzureException: com.microsoft.88337283.5200 操作不是Storagetorages:在非空目錄上允許。","Details":"org.apache.hadoop.fs.azure.AzureException: com.microsoft.azure.storage.StorageException: 在非空目錄上不允許此操作。\n\ tat org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.delete(AzureNativeFileSystemStore.java:2607)\n\tat org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.delete(AzureNativeFileSystemStore.java:2617)\n\tat org.apache.hadoop.fs .azure.NativeAzureFileSystem.deleteFile(NativeAzureFileSystem.java:2657)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem$2.execute(NativeAzureFileSystem$2.execute( eFileSystem.java:2391)\n\tat org.apache.hadoop.fs.azure.AzureFileSystemThreadPoolExecutor.executeParallel(AzureFileSystemThreadPoolExecutor.java:223)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.deleteWithoutAuth(NativeAzureFileSystem.java:2403) \n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.delete(NativeAzureFileSystem.java:2453)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.delete(NativeAzureFileSystem.java:1936)\n\tat org. apache.hadoop.mapreduce.lib.output.FileOutputCommitter。”}

我已經嘗試了一些基於 inte.net/stackoverflow 的修復

1. 創建新的鏈接服務 = 結果仍然失敗
2. 刪除 Sink 文件夾中的所有數據 = 結果仍然失敗
3. 將最后一個成功文件復制到今天的錯誤文件並重新運行 = 結果仍然失敗

也許有關如何處理此錯誤的任何信息？

Answer 1

通過創建類型為 Azure Data Lake Storage Gen2 的新鏈接服務並更新我的接收器數據集以使用它，我能夠繼續解決此錯誤。 它們之前的類型為 Azure Blob 存儲。 在此更新並發布更改后，我的管道工作了。

Answer 2

是的@Tim T

我們需要將 Azure BLOB 更改為新的 Azure Data Lake Storage Gen2

現在數據可以下沉到文件夾中的 csv 文件