使用Apache Spark和Scala解析JSON數據

Question

我有這種類型的數據文件，其中每行都是一個JSON對象，除了前幾個單詞（請參閱附件）。 我想使用Spark和Scala解析此類文件。 我已經使用sqlContext.read.json（“ json文件的路徑”）進行了嘗試，但是由於整個數據都不是JSON對象，因此出現了錯誤（數據損壞）。 如何將此JSON文件解析為SQL數據框？

Answer 1

嘗試這個：

val rawRdd = sc.textFile("path-to-the-file")
val jsonRdd = rawRdd.map(_.substring(32)) //32 - number of first characters to ignore

val df = spark.read.json(jsonRdd)