從scala / spark-shell到hive表中輸入幾個變量

Question

我在scala / spark-shell中有4個變量。

S1 = (a string) = "age"
S2 = (another string) = "school"
D1 = (a double) = 0.50
D2 = (another double) = 0.75

我需要將其喂入一個蜂巢表，如下所示：

因子系數

年齡0.50

學校0.75

我能夠從scala / spark-shell創建表：

val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

//以下作品

hiveContext.sql("create table students_table (factor STRING, coeff FLOAT) stored as orc")

但是，我不知道如何將這些值插入到配置單元表中。

我玩過插入和更新語句。 我也玩過數據框。 我也嘗試將數據轉儲到hdfs的文本文件中（首先將它們轉換為RDD），但是格式出現的方式使我無法將其用作配置單元表的草料。

我敢肯定，我缺少關於如何執行此操作的整個想法。

真誠的感謝您的幫助。

Answer 1

val input = sc.parallelize(Array((s1,D1), (s2, D2)))
case class StudentTable(factor : String, coeff : Double)
import sqlContext.implicits._
val df = input.map(x=>StudentTable(x._1, x._2)).toDF
df.saveAsTable("students_table", org.apache.spark.sql.SaveMode.Append)