将RDD转换为Spark DataFrame

Question

我正在尝试从spark2中的rdd创建数据帧。 当我尝试将rdd转换为数据帧时，出现错误，指出以下内容

error reading Scala signature of org.apache.spark.sql.package: assertion failed: unsafe symbol Unstable (child of package InterfaceStability) in runtime reflection universe

这是我的代码

import org.apache.spark.sql.{ SparkSession}
object TestLoad extends App{

  val spark: SparkSession = SparkSession.builder.master("local[*]").getOrCreate
  val sc = spark.sparkContext
  val rdd = sc.parallelize(
    Seq(("1", "someval"), ("2", "someval"))
  )

  val df = spark.createDataFrame(rdd)
  df.show()
}

Answer 1

您的RDD到DFF代码没有问题。 似乎是有关计算机的库配置的问题。 对于这种锻炼，您可以使用databricks社区笔记本 。 这将使您专注于Spark的功能，而不是库问题。