如何在 Spark SQL 中讀取鍵值對？

Question

如何使用 spark sql 或 scala 獲得此輸出？ 我有一個表，其中包含存儲此類值的列 - 需要拆分為單獨的列。

輸入 ：

輸出 ：

Answer 1

這在很大程度上取決於您要使用的庫（正如您在Scala或 Spark 中提到的那樣）。

• 使用火花

val rawJson = """
 {"Name":"ABC.txt","UploaddedById":"xxxxx1123","UploadedByName":"James"}
 """ 
spark.read.json(Seq(rawJson).toDS)

• 使用常見的 json 庫：

// play
Json.parse(rawJson) match {
  case obj: JsObject =>
    val values = obj.values
    val keys = obj.keys
    // construct dataframe having keys and values
  case other => // handle other types (like JsArray, etc,.)
}

 // circe
import io.circe._, io.circe.parser._
parse(rawJson) match {
  case Right(json) => // fetch key values, construct df, much like above
  case Left(parseError) => ...
}

您可以使用幾乎任何 json 庫來解析您的 json 對象，然后非常輕松地將其轉換為 spark df。