如何從Scala自定義對象列表創建數據框

Question

我們可以使用以下方法從Java對象列表中創建一個數據框：

DataFrame df = sqlContext.createDataFrame(list, Example.class);

對於Java，Spark可以直接從類（在本例中為Example.class推斷模式。

如果有Scala，有沒有辦法做同樣的事情？

Answer 1

如果您在Scala中使用案例類，則可以直接使用

// define this class outside main method
case class MyCustomObject(id:Long,name:String,age:Int)

import spark.implicits._

val df = Seq(
  MyCustomObject(1L,"Peter",34),
  MyCustomObject(2L,"John",52)
).toDF()

df.show()

+---+-----+---+
| id| name|age|
+---+-----+---+
|  1|Peter| 34|
|  2| John| 52|
+---+-----+---+

如果要使用非大小寫的類，則需要擴展特征Product並自己實現這些方法