JSON 的 Azure 数据工厂 ADF 架构验证

Question

我正在实现一个验证数据集模式的功能。 我知道在 ADF 中，映射数据流部分中有一个复选框，如果列或列的类型与引用不匹配，它会自动执行此操作。 对于 CSV，它对我来说效果很好，但在 JSON 的情况下，我注意到两件事：1，当我为 JSON 创建数据集时，它的架构与我在映射数据流中看到的不同，尽管我使用相同的数据集。 我在两个（数据集和数据流）地方都尝试了从示例文件导入、导入投影等的每个选项。没有成功

在数据集的最后，我通过编辑 JSON 的 JSON 在代码部分手动更改了它:)

2，最后它在具有相同的架构后没有解决问题，它在架构验证期间仍然失败。

但是，如果您看到屏幕截图，则在错误 msg 本身中它会显示相同的类型：

找到： ArrayType(StructType(StructField(**Description1**,StringType,true),...etc必需： ArrayType(StructType(StructField(**Description1**,StringType,true),...etc

Answer 1

无需更改数据集 JSON 中的数据类型，只需在数据流中覆盖它即可。

在源转换的投影选项卡中，单击“导入投影”以覆盖数据集模式。

如果你没有得到你想要的模式，那么使用带有 toInteger() 的派生列来修改你想要转换的字符串。