mapPartition Spark中的調用函數

Question

我有一個scala函數如下：

def variance (reg: Int, samRecords: Array[SAMRecord]) : 
    Array[(Int, (Int, String))] =
{
  // Body of the function
}

我正在嘗試在mapPartition方法中調用此函數，如下所示：

//SortedOut is RDD[(Int,(Int,Int,SAMRecord))]
val Out = SortedOut.mapPartitions(iter=> {val inArr = iter.map(x=>x._2._3).toArray
                                        val inReg = iter.map(x=> x._1).toArray
                                        if (inArr.length != 0)
                                        {
                                        println("Calling function")
                                        variantCall(inReg(0),inArr).iterator
                                       }
                                       else
                                        iter}).cache

我檢查了SortedOut的分區是否為非空，但仍然沒有進行函數調用。 為什么此代碼不起作用？ 我想為每個分區調用此函數，我該怎么做？

Answer 1

您只有在執行某些操作時才能觸發計算。

最后collect或count或foreach等以觸發評估

通知收尾

val Out = SortedOut.mapPartitions(iter=> {val inArr = iter.map(x=>x._2._3).toArray
                                        val inReg = iter.map(x=> x._1).toArray
                                        if (inArr.length != 0)
                                        {
                                        println("Calling function")
                                        variantCall(inReg(0),inArr).iterator
                                       }
                                       else
                                        iter}).cache.collect