[英]Spark 2.0 missing spark implicits
使用Spark 2.0,我发现有可能将行的数据帧转换为案例类的数据框。 当我尝试这样做的时候,我打招呼,说明要导入spark.implicits._
。 我遇到的问题是Intellij没有认识到这是一个有效的导入语句,我想知道是否已经移动并且消息没有更新,或者我的构建设置中没有正确的包,这里是我的build.sbt
libraryDependencies ++= Seq(
"org.mongodb.spark" % "mongo-spark-connector_2.11" % "2.0.0-rc0",
"org.apache.spark" % "spark-core_2.11" % "2.0.0",
"org.apache.spark" % "spark-sql_2.11" % "2.0.0"
)
没有名为spark.implicits
包。
这里有spark
,它指的是SparkSession 。 如果你在REPL中,会话已被定义为spark
所以你只需输入:
import spark.implicits._
如果您已在代码中的某处定义了自己的SparkSession
,请相应地进行调整:
val mySpark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()
// For implicit conversions like converting RDDs to DataFrames
import mySpark.implicits._
Spark使用SparkSession的spark
标识符。 这就是造成混乱的原因。 如果你用类似的东西创建它,
val ss = SparkSession
.builder()
.appName("test")
.master("local[2]")
.getOrCreate()
输入implicits
的正确方法是,
import ss.implicits._
如果这有帮助,请告诉我。 干杯。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.