簡體   English   中英

使用Azure數據工廠復制活動,是否可以將當前SliceStart作為目標表存儲實體的屬性輸出?

[英]With Azure Data Factory Copy Activity, is it possible to output the current SliceStart as a property on the destination Table Storage entities?

我正在使用Azure Data Factory的復制活動從日常文件夾中獲取Blob存儲中的分隔文本文件。 列將映射並復制到表存儲實體。 一切都很好。

我希望每組實體都使用正確的數據切片(SliceStart)進行分區,理想情況下,作為復合分區鍵(SliceStart加上一些其他附加屬性)的一部分,或者失敗,表實體本身的屬性。

這是管道中的下一步(.NET自定義活動)可以獲取正確的每日數據集。 我知道我可以將當​​前的SliceStart作為擴展屬性傳遞給.NET自定義活動,但是這個Activity如何使用SliceStart值來查詢表存儲數據以僅隔離匹配日的實體?

我無法可靠地使用TimeStamp,因為切片可能會排隊或延遲,然后在同一天處理多個切片。 在這種情況下,它們都具有相同的TimeStamp,因此我無法區分不同的日子。

使用ADF V2,您可以實現此目的。 使用azureTableDefaultPartitionKeyValue屬性的表達式。 如果您正在使用計划觸發器 ,則將trigger()。scheduledTime傳遞給它。 您還可以使用翻滾窗口觸發器

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM