在scala中将Spark Dataframe转换为RDD

Question

我正在寻求将Dataframe转换为RDD的更好方法。 现在，我正在将数据帧转换为收集并循环收集以准备RDD。 但是我们知道循环不是一个好习惯。

   val randomProduct = scala.collection.mutable.MutableList[Product]()
   val results = hiveContext.sql("select id,value from  details");
   val collection = results.collect();    
   var i = 0;
   results.collect.foreach(t => {
       val product = new Product(collection(i)(0).asInstanceOf[Long], collection(i)(1).asInstanceOf[String]); 
       i = i+ 1;
       randomProduct += product 
   })

   randomProduct
   //returns RDD[Product]

请建议我将其设为稳定的标准格式，以处理大量数据。

Answer 1

val results = hiveContext.sql("select id,value from  details");
results.rdd.map( row => new Product( row.getLong(0), row.getString(1) ) ) // RDD[Product]