使用 scala spark 将具有 json 值的列转换为数据帧

Question

我找到了几个有用的答案，但都是将儿子文件转换为 df，在我的情况下，我有一个 df，其中包含有儿子的列，如下所示：

s-时间戳：2019-10-10

内容：{"META":{"testA":"1","TABLENAME":"some_table_name"},"PINACOLADA":{"sampleID":"0","itemInserted":"2019-10-10", "sampleType":"BASE",}"

我需要规范化内容列，我该怎么做。

Answer 1

欢迎。 有几种方法可以处理 Spark DF 列中的 JSON 字符串。 您可以使用 get_json_object 之类的函数从from_json get_json_object提取特定字段，以将字段转换为具有给定架构的StructType 。 另一种选择是使用spark.read.json从列的内容中解析并创建一个单独的 dataframe。 在这里查看我的解决方案，如果有帮助，请告诉我。