从 Azure Data Lake Storage 复制文件

Question

我已在 Azure 数据工厂中设置管道以 1) 将文件从存储复制到 Lake 2) u-sql 以合并/处理复制的文件并输出到单个文件 3) 打开并处理此合并文件（插入到 DB）。

无论我尝试什么，权限明智，第 3 步都失败了。 Azure 数据湖的所有演示和教程都停止在生成声称成功的输出文件。 工作完成等。

我发现 docs.microsoft 对此非常复杂（可能是由于 Gen1/Gen2 Lake 造成的？？）。 当然，我正在尝试做的是一个常见的场景，获取一些数据文件，合并和输出，处理输出。

u-sql 进程创建的文件似乎与其他文件有不同的所有者，所以最常见的错误是 403。 在 ADF 中设置管道时，我可以浏览到 Lake Storage 等上的文件夹进行配置，但是如果不对 Lake 存储中的文件设置所有权限，则无法打开文件。 当我在 ADF 中调试/运行管道时，新文件输出没有这些权限，因此管道中的进程输出文件步骤失败。

所有这些资源都设置在同一个 Azure 订阅中。

Answer 1

我现在已经解决了这个权限问题。 如果有人感兴趣，请在此处提供一些信息和指导... https://www.sqlservercentral.com/stairways/stairway-to-u-sql

此外，这门课程是相当不错的介绍。

https://app.pluralsight.com/library/courses/u-sql-azure-data-lake/