Azure 數據工廠 - API 提取和新列

Question

我需要從 API 中提取數據到 Azure，API 輸出是這樣的：

[{"ID":0,"SourceIndex":437,"ValueName":""},
{"ID":1,"SourceIndex":438,"ValueName":"CPSA21"},
{"ID":2,"SourceIndex":439,"ValueName":"CPSA21"},
{"ID":3,"SourceIndex":440,"ValueName":"MLPDS5"},
{"ID":4,"SourceIndex":441,"ValueName":"LEOD40"},
{"ID":5,"SourceIndex":442,"ValueName":"MCN312"}]
[1234567,
[531,65,0,12,19,3]

目標是使用在輸出的最后一行中找到的值創建一個名為“Value”的新對象並寫入文件。 預期輸出：

ID	來源索引	值名稱	價值
0	437		531
1	438	CPSA21	65
2	439	CPSA21	0
3	440	MLPDS5	12
4	441	LEOD40	19
5	442	MCN312	3

這是否可以使用 Azure 數據工廠實現以及如何實現？ 或者其他解決方案會更好嗎？ 謝謝

Answer 1

這是我為您的用例構建的演示。

首先，我創建了一個包含您的數據的 Json 文件，如下所示：

主要思想是將數組與 Json 數據連接起來，並根據您的要求添加新鍵，這可以通過添加派生列來完成。

自動進稿器：

1. 創建了一個數據流。
2. 在數據流constantValues中設置參數：[531,65,0,12,19,3]
3. 在派生列中添加了具有相應值的值列： $constantValues[ID + 1] （想法是將 id = 0 與數組中的第一個值匹配）。
4. 保存到緩存接收器。

管道中的參數：

派生列：

輸出：

請檢查此鏈接： https ://docs.microsoft.com/en-us/azure/data-factory/data-flow-derived-column