在Apache Spark中，是否有连接RDD而不是并集？

Question

rdd.union（）和++都通过消除RDD中的重复对象来实现并集。 我认为这是连接两个具有不同元素的RDD的昂贵方法。 有什么选择？

Answer 1

rdd.union（）和++都通过消除重复的对象来实现并集

你错了++

def ++(other: RDD[T]): RDD[T]

返回此RDD和另一个的联合。 任何相同的元素都会出现多次（使用.distinct（）消除它们）

和union ：

def union(other: RDD[T]): RDD[T]

返回此RDD和另一个的联合。 任何相同的元素都会出现多次（使用.distinct（）消除它们）。

没有设置工会。

同样适用于Dataset.union 。