将Spark RDD保存到Hive表

Question

在spark中我想将RDD对象保存到hive表中。 我试图使用createDataFrame，但这是扔

线程“main”java.lang.NullPointerException中的异常

 val products=sc.parallelize(evaluatedProducts.toList);
 //here products are RDD[Product]
 val productdf = hiveContext.createDataFrame(products, classOf[Product])

我正在使用Spark 1.5版本。

Answer 1

如果您的产品是一个类（不是案例类），我建议您在创建DataFrame之前将您的rdd转换为RDD [Tuple]：

import org.apache.spark.sql.hive.HiveContext

val hiveContext = new HiveContext(sc)
import hiveContext.implicits._

val productDF = products
  .map({p: Product => (p.getVal1, p.getVal2, ...)})
  .toDF("col1", "col2", ...)

使用此方法，您将Product属性作为DataFrame中的列。

然后，您可以创建一个临时表：

productDF.registerTempTable("table_name")

或物理表：

productDF.write.saveAsTable("table_name")