从 Spark 向 Hive 表插入记录

Question

我正在尝试从Spark ( Scala ) 向Hive表中插入记录。 我尝试插入的值是作为案例类出现的结构化数据。

这是我所拥有的：

case class rcd(
  request: Int,
  extract_id: Int)
}

然后：

DF.as[rcd].take(DF.count.toInt).foreach(e => { // DF is a dataframe that contains data

if <condition> {
       ss.sql(s"""INSERT INTO mytable select $e.request ,'$e.extract_id'""")
}

我收到一个错误：

未定义的函数：'rcd'。 此函数既不是已注册的临时函数，也不是在数据库“default”中注册的永久函数。

另外， Spark在上一条消息中提到的'default'是什么

任何意见将不胜感激

Answer 1

你注册你的udf函数了吗？

如果没有，请向 SQLContext 的 UDF 注册表注册 udf 函数。

sqlContext.udf.register("RCD", rcd)