使用 Azure 数据工厂处理 zip 文件

Question

在 Data Lake 中，我正在寻找有关如何处理的信息。zip 文件包含一个文件。 不确定我是否可以直接将 zip 文件中的内容处理到 Azure 数据库中，而无需将内容解压缩到单独的文件夹中。

另一个问题是文本文件在 pipe 分隔符中的列数是可变的，因为单个文本文件包含来自多个表的数据。 不确定处理此可变列计数文本文件的可能方法是什么。

Answer 1

数据工厂支持读取.zip文件中的文件/数据，我们可以为.zip文件设置压缩类型，我们不需要将内容解压缩到单独的文件夹中。 请参见下面的示例：

对于您的另一个问题，如果文本文件在 pipe 分隔符中具有可变的列数。 数据工厂不能很好地处理这种文件，它总是会根据列分隔符编号将第一行视为架构。 就目前而言，没有很好的方法来处理它。

HTH。