减去两个RDD包含Spark / Scala中的列表作为值

Question

我是scala的新手。 我有以下两种类型的RDD：

RDD [（Long，List [Long]）]

我想从两个RDD中减去List [Long]中的值。

例如：

rddPair1包含：

((4,List(5)), (1,List(2)), (2,List(4, 3, 4)), (3,List(6, 4)))

rddPair2包含：

((5,List(6)), (2,List(3)), (3,List(4)))

我想要生成的RDD如下所示：

(4,List(5)), (1,List(2)), (2,List(4, 4)), (3,List(6))

您可以在此处检查2，3个键是否匹配，为此，从rddPair1的值中减去rddPair2的列表值。

提前致谢

Answer 1

您可以使用leftOuterJoin ，然后映射结果以获取所需的格式：

val result: RDD[(Int, List[Int])] = rddPair1.leftOuterJoin(rddPair2).mapValues {
  case (l1, Some(l2)) => l1.diff(l2) // match found - remove l2 from l1
  case (l1, None) => l1              // no match  - keep l1 as is
}