在 pyspark 中创建 rdd 的 rdd

Question

是否可以在 pyspark 中创建 rdd 的 rdd？ 我试过了

rdd1=sc.parallelize([1,2,3])
rdd2=sc.parallelize([4,5,6])
rdd3=sc.parallelize([rdd1,rdd2])

并得到错误

Answer 1

UNION方法可用于执行此操作

rdd1 = sc.parallelize([1, 2, 3])
rdd2 = sc.parallelize([4, 5, 6])
rdd3 = sc.parallelize([7, 8, 9])

rdd = sc.union([rdd1, rdd2, rdd3])
rdd.collect()

## [1, 2, 3, 4, 5, 6, 7, 8, 9]

作为旁注，现在建议使用DataFrame或Dataset API。

Answer 2

你可以加入2个RDD

rdd1.join(rdd2)