使用Intellij IDEA導入Spark庫

Question

我想在Intellij IDEA SBT項目中使用spark SQL。

即使我已經導入了庫，代碼似乎也沒有導入它。

但是，Spark Core似乎正在工作。

Answer 1

您無法通過scala List[A]創建DataFrame 。 您首先需要創建一個RDD[A] ，然后將其轉換為DataFrame 。 您還需要一個SQLContext ：

val conf = new SparkConf()
  .setMaster("local[*]")
  .setAppName("test")

val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)

import sqlContext.implicits._

val test = sc.parallelize(List(1,2,3,4)).toDF

Answer 2

作為參考，這是帶有spark sql的Spark 2.0樣板應如下所示：

 import org.apache.spark.sql.SparkSession

 object Test {    
 def main(args: Array[String]) {

    val spark = SparkSession.builder()
      .master("local")
      .appName("some name")
      .getOrCreate()

    import spark.sqlContext.implicits._

    }
}