如何從表在Scala中創建數據框

Question

我正在嘗試為Scala中的兩個表創建一個dataframe ，並在嘗試運行時遇到syntax error 。 Scala的新手。

import org.apache.spark.sql.{DataFrame, SparkSession}
import org.apache.spark.sql.functions._

object testfunction extends App {
val session = SparkSession.builder().master("local").getOrCreate()

import session.implicits._


val sqlContext = SQLContext(sc) 
val df1 = sqlContext.sql("select * from table1")
val df2 = sqlContext.sql("select * from table2")
//trying to call a function 
testfunction("key",df1,df2)
}

//// 
testfunction definition { .... }

如果我缺少任何導入功能，請告訴我，如果以上語法不正確，請更正我。 學習scala。 非常感謝您的回應。 錯誤：錯誤：未找到：值SQLContext val sqlContext = SQLContext（sc）

Answer 1

當前的處理方式如下：

val df = spark.read.json("/somepath/testweet.json")
df.createOrReplaceTempView("table1")
var df1 = spark.sql("select text from table1")
df1.printSchema()
df1.show()

您必須先使用val關鍵字聲明df1或df2才能使用它們。 請參閱此處以獲取更多信息： https : //spark.apache.org/docs/latest/sql-programming-guide.html