Azure Pipeline Data flow ERROR 不允许在非空目录上执行此操作

Question

我最近几天在 azure 工厂遇到问题，上周这个错误没有问题并且 ADF（Azure 数据工厂）管道没有变化，但最近 3 天发生了这个错误

{"StatusCode":"DFExecutorUserError","Message":"Job failed due to reason: at Sink 'savetocurated': org.apache.hadoop.fs.azure.AzureException: com.microsoft.88337283.5200 操作不是Storagetorages:在非空目录上允许。","Details":"org.apache.hadoop.fs.azure.AzureException: com.microsoft.azure.storage.StorageException: 在非空目录上不允许此操作。\n\ tat org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.delete(AzureNativeFileSystemStore.java:2607)\n\tat org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.delete(AzureNativeFileSystemStore.java:2617)\n\tat org.apache.hadoop.fs .azure.NativeAzureFileSystem.deleteFile(NativeAzureFileSystem.java:2657)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem$2.execute(NativeAzureFileSystem$2.execute( eFileSystem.java:2391)\n\tat org.apache.hadoop.fs.azure.AzureFileSystemThreadPoolExecutor.executeParallel(AzureFileSystemThreadPoolExecutor.java:223)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.deleteWithoutAuth(NativeAzureFileSystem.java:2403) \n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.delete(NativeAzureFileSystem.java:2453)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.delete(NativeAzureFileSystem.java:1936)\n\tat org. apache.hadoop.mapreduce.lib.output.FileOutputCommitter。”}

我已经尝试了一些基于 inte.net/stackoverflow 的修复

1. 创建新的链接服务 = 结果仍然失败
2. 删除 Sink 文件夹中的所有数据 = 结果仍然失败
3. 将最后一个成功文件复制到今天的错误文件并重新运行 = 结果仍然失败

也许有关如何处理此错误的任何信息？

Answer 1

通过创建类型为 Azure Data Lake Storage Gen2 的新链接服务并更新我的接收器数据集以使用它，我能够继续解决此错误。 它们之前的类型为 Azure Blob 存储。 在此更新并发布更改后，我的管道工作了。

Answer 2

是的@Tim T

我们需要将 Azure BLOB 更改为新的 Azure Data Lake Storage Gen2

现在数据可以下沉到文件夹中的 csv 文件