使用scala將json讀入多個spark數據幀

Question

我的json結構是這樣的：

{
  "posts": [],
  "persons": [],
  "organizations": [],
  "meta": {
    "sources": [
      "http://loksabha.nic.in/",
      "http://wikidata.org/",
      "http://gender-balance.org/"
    ]
  },
  "memberships": [],
  "events": [],
  "areas": []
}

我想將帖子讀入數據框，但帖子是json對象的數組。 與其他json數組類似，但“ meta”除外。 應該將“元” json對象內的“源”數組讀入另一個數據幀。

無論如何，使用spark scala可以實現此目的。

任何幫助是極大的贊賞。

在此先感謝Shakti

Answer 1

您可以使用擴展功能。 我想你有類似的東西

val jsonDf = spark.read.json("your_json.json")
val postsDf = jsonDF.withColumn("post", explode(col("posts")).select("post")