Spark Scala將文本文件讀入DataFrame

Question

我希望讀取一個文件並將其存儲到DataFrame中。 我正在讀取一個文本文件，並將其存儲到RDD [Array [String]]中。

val file = sc.textFile("/mockSmall.txt").map(line => line.split(",").map(_.trim))
case class record(eventName: String, date: String, counter: String)
val solrDF: DataFrame = file.map{case Array(s0, s1, s2) => record(s0, s1, s2)}.toDF()

但是，出現以下編譯問題：

值DF不是RDD [record]的成員

我該如何解決？ 注意：我使用的是spark 1.6，因此沒有sparkSession。

Answer 1

您必須導入spark.implicits._一切都會好起來的

編輯：

對於1.6.1用戶，請導入sqlContext.implicits._

要么 ：

改用sqlContext.createDataFrame instead

請參考官方的SQL和DataFrames指南以獲取更多信息