使用Scala將RDD轉換為Spark中的DataFrame

Question

我有textRDD: org.apache.spark.rdd.RDD[(String, String)]

我想將其轉換為DataFrame。 這些列對應於每個頁面（行）的標題和內容。

Answer 1

使用toDF() ，如果有的話，提供列名。

val textDF = textRDD.toDF("title": String, "content": String)
textDF: org.apache.spark.sql.DataFrame = [title: string, content: string]

要么

val textDF = textRDD.toDF()
textDF: org.apache.spark.sql.DataFrame = [_1: string, _2: string]

Shell自動導入（我正在使用1.5版），但是您可能需要在應用程序中import sqlContext.implicits._ 。

Answer 2

我通常這樣做如下：

創建一個這樣的案例類：

case class DataFrameRecord(property1: String, property2: String)

然后，您可以使用case類使用map轉換為新結構：

rdd.map(p => DataFrameRecord(prop1, prop2)).toDF()