如何在Spark中使用Scala将RDD映射到另一个RDD？

Question

我有一个RDD：

RDD1 = (big,data), (apache,spark), (scala,language) ... 

我需要将其与时间戳相对应

RDD2 = ('2015-01-01 13.00.00')

这样我得到

RDD3 = (big, data, 2015-01-01 13.00.00), (apache, spark, 2015-01-01 13.00.00), (scala, language, 2015-01-01 13.00.00)

我为此编写了一个简单的map函数：

RDD3 = RDD1.map(rdd => (rdd, RDD2))

但这是行不通的，我认为这不是要走的路。 怎么做？ 我是Scala和Spark的新手。 谢谢。

Answer 1

您可以使用zip ：

val rdd1 = sc.parallelize(("big","data") :: ("apache","spark") :: ("scala","language") :: Nil)
// RDD[(String, String)]
val rdd2 = sc.parallelize(List.fill(3)(new java.util.Date().toString))
// RDD[String]

rdd1.zip(rdd2).map{ case ((a,b),c) => (a,b,c) }.collect()
// Array((big,data,Fri Jul 24 22:25:01 CEST 2015), (apache,spark,Fri Jul 24 22:25:01 CEST 2015), (scala,language,Fri Jul 24 22:25:01 CEST 2015))

如果要对rdd1每个元素使用相同的时间戳记：

val now = new java.util.Date().toString
rdd1.map{ case (a,b) => (a,b,now) }.collect()