在Spark中加入两个RDD时，如何提取不匹配的值？

Question

我有两组RDD，如下所示：

rdd1 = [(12, abcd, lmno), (45, wxyz, rstw), (67, asdf, wert)]
rdd2 = [(12, abcd, lmno), (87, whsh, jnmk), (45, wxyz, rstw)]

我需要创建一个新的RDD，它具有在rdd2中找到的所有值，而在rdd2中没有相应的匹配rdd1 。 因此，创建的RDD应该包含以下数据：

rdd3 = [(87, whsh, jnmk)]

有谁知道如何做到这一点？

Answer 1

您可以进行完全连接，然后创建2个新的RDD。

1. 选择两个表都有记录的位置
2. 选择存在RDD2 PK且RDD1为空的位置

您需要先将它们转换为KV rdds。 下面的示例代码：rdd3 = rdd1.fullJoin（rdd2）.filter（x => x._3.exists）.map（x =>（x._1，x._3.get））

（是的，有一种更惯用的方式来获得选择，但这应该可行）