Azure数据湖中的元数据

Question

我用C＃编写了一个Azure函数，该函数递归地遍历数据湖并生成一个包含元数据中所有文件和文件夹的元数据（文件名，路径，大小更改日期等）的文件。

由于我们有很多文件和查找程序，因此需要花费相当长的时间。 所以我只是想知道是否有一个元数据存储区，我们可以直接从中获取这些数据？ 我想到的是SQL Server中的sys表之类的东西。

提前致谢！

Answer 1

文件信息中有一些功能即将发布，这些功能为您提供了一些文件系统元数据属性。 但是您仍然需要自己枚举文件夹层次结构。

例如：

@data = 
  EXTRACT 
    vehicle_id int
  , entry_id long
  , event_date DateTime
  , latitude float
  , longitude float
  , speed int
  , direction string
  , trip_id int?
  , uri = FILE.URI()
  , modified_date = FILE.MODIFIED()
  , created_date = FILE.CREATED()
  , file_sz = FILE.LENGTH()
FROM "/Samples/Data/AmbulanceData/vehicle{*}"
USING Extractors.Csv();

OUTPUT @data
TO "/output/releasenotes/winter2018/fileprops.csv"
USING Outputters.Csv(outputHeader : true);

我建议您通过http://aka.ms/adlfeedback提交对文件系统元数据目录视图（例如usql.files和usql.filesystem ）的请求，以增强我们的元数据目录视图。