JSON 的 Azure 數據工廠 ADF 架構驗證

Question

我正在實現一個驗證數據集模式的功能。 我知道在 ADF 中，映射數據流部分中有一個復選框，如果列或列的類型與引用不匹配，它會自動執行此操作。 對於 CSV，它對我來說效果很好，但在 JSON 的情況下，我注意到兩件事：1，當我為 JSON 創建數據集時，它的架構與我在映射數據流中看到的不同，盡管我使用相同的數據集。 我在兩個（數據集和數據流）地方都嘗試了從示例文件導入、導入投影等的每個選項。沒有成功

在數據集的最后，我通過編輯 JSON 的 JSON 在代碼部分手動更改了它:)

2，最后它在具有相同的架構后沒有解決問題，它在架構驗證期間仍然失敗。

但是，如果您看到屏幕截圖，則在錯誤 msg 本身中它會顯示相同的類型：

找到： ArrayType(StructType(StructField(**Description1**,StringType,true),...etc必需： ArrayType(StructType(StructField(**Description1**,StringType,true),...etc

Answer 1

無需更改數據集 JSON 中的數據類型，只需在數據流中覆蓋它即可。

在源轉換的投影選項卡中，單擊“導入投影”以覆蓋數據集模式。

如果你沒有得到你想要的模式，那么使用帶有 toInteger() 的派生列來修改你想要轉換的字符串。