Azure數據湖中的元數據

Question

我用C＃編寫了一個Azure函數，該函數遞歸地遍歷數據湖並生成一個包含元數據中所有文件和文件夾的元數據（文件名，路徑，大小更改日期等）的文件。

由於我們有很多文件和查找程序，因此需要花費相當長的時間。 所以我只是想知道是否有一個元數據存儲區，我們可以直接從中獲取這些數據？ 我想到的是SQL Server中的sys表之類的東西。

提前致謝！

Answer 1

文件信息中有一些功能即將發布，這些功能為您提供了一些文件系統元數據屬性。 但是您仍然需要自己枚舉文件夾層次結構。

例如：

@data = 
  EXTRACT 
    vehicle_id int
  , entry_id long
  , event_date DateTime
  , latitude float
  , longitude float
  , speed int
  , direction string
  , trip_id int?
  , uri = FILE.URI()
  , modified_date = FILE.MODIFIED()
  , created_date = FILE.CREATED()
  , file_sz = FILE.LENGTH()
FROM "/Samples/Data/AmbulanceData/vehicle{*}"
USING Extractors.Csv();

OUTPUT @data
TO "/output/releasenotes/winter2018/fileprops.csv"
USING Outputters.Csv(outputHeader : true);

我建議您通過http://aka.ms/adlfeedback提交對文件系統元數據目錄視圖（例如usql.files和usql.filesystem ）的請求，以增強我們的元數據目錄視圖。