在广播变量中查找值

Question

我想通过应用广播变量来加入两个集合。 我正在尝试实施Spark的第一个建议：将2元组键RDD与单键RDD结合在一起的最佳策略是什么？

val emp_newBC = sc.broadcast(emp_new.collectAsMap())
val joined = emp.mapPartitions({ iter =>
      val m = emp_newBC.value
      for {
        ((t, w)) <- iter
        if m.contains(t)
      } yield ((w + '-' + m.get(t).get),1)
    }, preservesPartitioning = true)

但是，如此处所述： 广播变量无法获取我需要使用collect（）而不是collectAsMAp（）的所有数据 。 我尝试如下调整代码：

val emp_newBC = sc.broadcast(emp_new.collect())
val joined = emp.mapPartitions({ iter =>
      val m = emp_newBC.value
      for {
        ((t, w)) <- iter
        if m.contains(t)
        amk = m.indexOf(t)
      } yield ((w + '-' + emp_newBC.value(amk)),1) //yield ((t, w), (m.get(t).get))   //((w + '-' + m.get(t).get),1)
    }, preservesPartitioning = true)

但是似乎m.contains（t）没有响应。 我该如何补救？

提前致谢。

Answer 1

这样的事情怎么样？

val emp_newBC = sc.broadcast(emp_new.groupByKey.collectAsMap)

val joined = emp.mapPartitions(iter => for {
  (k, v1) <- iter
  v2 <- emp_newBC.value.getOrElse(k, Iterable())
} yield (s"$v1-$v2", 1))

关于您的代码...据我了解， emp_new是RDD[(String, String)] 。 收集到它后，您将得到一个Array[(String, String)] 。 使用时

((t, w)) <- iter

t是一个String因此m.contains(t)将始终返回false 。

我看到的另一个问题是mapPartitions内部的mapPartitions preservesPartitioning = true 。 有几种可能的情况：

1. emp已分区，您也希望joined也要分区。 由于您将键从t更改为一些新值，因此无法保留分区，因此必须重新分区RDD 。 如果使用preservesPartitioning = true输出RDD将以错误的分区结束。
2. emp被分割但你不需要分区joined 。 没有理由使用preservesPartitioning 。
3. emp未分区。 设置preservesPartitioning无效。