Scala-如何在RDD上遍历元组？

Question

我有一个包含这样的元组的RDD

（A，名单（2,5,6,7））

（B，名单（2,8,9,10））

并且我想获取第一个元素的索引，其中第一个元素的值在条件之间成立。 到目前为止，我已经在一个元组测试中进行了尝试，并且效果很好：

test._2.zipWithIndex.indexWhere { case (v, i) => SOME_CONDITION}

我只是找不到如何遍历列表中的所有元组。

val result= test._._2.zipWithIndex.indexWhere { case (v, i) => SOME_CONDITION}

Answer 1

首先，“迭代”在这里是错误的概念-它来自命令式编程领域，在该领域中，您实际上是自己遍历数据结构。 Spark使用功能范例，让您传递一个函数来处理RDD中的每个记录（使用诸如map ， foreach ...之类的高阶函数）。

在这种情况下，听起来好像您想将每个元素映射到一个新元素。

要仅映射元组的右侧（不更改左侧），可以使用mapValues ：

// mapValues will map the "values" (of type List[Int]) to new values (of type Int)
rdd.mapValues(list => list.zipWithIndex.indexWhere { 
  case (v, i) => someCondition(v, i) 
})

或者，也可以使用普通map ：

rdd.map { 
  case (key, list) => (key, list.zipWithIndex.indexWhere { 
    case (v, i) => someCondition(v, i) 
  }) 
}