將雙RDD保存到文件-Scala

Question

我正在嘗試在文件中保存一個雙RDD，一個雙RDD的意思是我有這個變量：

res: org.apache.spark.rdd.RDD[org.apache.spark.rdd.RDD[((String,String), Int)]] = MapPartitionsRDD[19] 

我試圖用

res.saveAsTextFile(path)

但這是行不通的，因為Spark不支持嵌套的RDD，所以啟動了一個異常，這里是代碼示例：

val res = Listword.map { x =>
Listword.map { y =>
  ((x._1, y._1), x._2 + y._2)
}
}
res.saveAsTextFile("C:/Users/Administrator/Documents/spark/spark-1.6.0-bin-hadoop2.6")

Answer 1

Spark不允許嵌套的RDD。 在您的特定情況下，可以使用cartesian ：

ListWord.cartesian(ListWord).map { case (x, y) =>
  ((x._1, y._1), x._2 + y._2)
}