遍歷Scala中的spark cogroup（）pairrdd輸出

Question

我在Spark中創建了2對RDD

var pairrdd = sc.parallelize(List((1,2),(3,4),(3,6)))
var pairrdd2 = sc.parallelize(List((3,9)))

我應用了cogroup函數

var cogrouped = pairrdd.cogroup(pairrdd2)

cogroupedrdd的對象類型如下所示。

cogrouped: org.apache.spark.rdd.RDD[(Int, (Iterable[Int], Iterable[Int]))] = MapPartitionsRDD[801] at cogroup at <console>:60

我正在嘗試創建一個函數來迭代這些值

def iterateThis((x: Int,(x1:Iterable[Int],x2:Iterable[Int])))={
  println(x1.mkString(","))
}

但我得到以下錯誤。

<console>:21: error: identifier expected but '(' found.
       def iterateThis((x: Int,(x1:Iterable[Int],x2:Iterable[Int])))={
                   ^

Answer 1

您的參數的類型為(Int, (Iterable[Int], Iterable[Int])) ：

def iterateThis(arg: (Int, (Iterable[Int], Iterable[Int]))) = {
  val (_, (x1, _)) = arg
  println(x1.mkString(","))
}