RDD上的多个地图

Question

假设我有一个 class：

class DummyClass(elems1: List[FirstElem], elems2: List[SecondElem])

在一些批量计算期间，我有一个 RDD[DummyClass]

如何在不在此 RDD 上运行多个地图的情况下收集元素。 我的解决方案很慢，因为我必须多次阅读 RDD。 我们谈论的是 4M-5M 记录。

val dsElem1 = myRdd.map(x -> x.elems1)
val dsElem2 = myRdd.map(x -> x.elems2)

我想补充一点，我有 7 张遵循相同逻辑的地图。 Persist() 和 cache() 应用地图之前的 RDD，并没有改善那么多。