將數據從 azure blob 存儲復制到 adls gen 2

Question

我在 azure blob 存儲中有大約 200 萬個 json 文件。每個文件包含一條記錄。我需要將所有這些 json 文件移動到大於 2011 的 adls gen-01-0。

注意：createdate 是 json 中的字段之一。

是否可以通過azure數據工廠實現

Answer 1

是的，您需要使用查詢來執行此操作。 首先請把數據放到一些可以做數據分析的空間里。

首先，創建一個復制activity1 （將數據從azure blob storage復制到sql數據庫），然后創建一個復制activity2 （從sql數據庫復制數據到adls gen2）。

在復制活動2的源代碼中，請這樣做：

select *  
from dbo.test1 A 
where A.createdate >= '2019-01-01'

我已經做了一個測試，它工作正常。 請試一試。