Scala和Spark，从字典到rdd创建数据框

Question

您能否让我知道如何从以下代码创建数据框架？

val x =List(Map("col1"->"foo","col2"->"bar"))
val RDD =sc.parallelize(x)

输入如上所示，即RDD[Map[String, String]]要隐式转换为数据框，其中col1和col2为列名，而foo和bar为一行。

Answer 1

您可以创建一个案例类，将rdd中的Maps转换为案例类，然后toDF应该可以工作：

case class r(col1: Option[String], col2: Option[String])

RDD.map(m => r(m.get("col1"), m.get("col2"))).toDF.show
+----+----+
|col1|col2|
+----+----+
| foo| bar|
+----+----+