在Spark RDD上使用本机Scala方法是否会失去Spark魔术功能？

Question

我正在研究Spark，但对Spark如何处理某些问题有疑问。

假设我有一个键->值对的RDD ：（客户ID，TotalSpend）。 如果我在RDD上使用.sortBy，由于.sortBy是Scala方法而不是Spark方法，我会错过Spark Magic吗？

换句话说，要从Spark所做的分发中受益，您只能在RDD上使用Spark方法吗？ 我已经看到了一些示例，人们希望这样做：rdd.sortBy（x => x._2），但是相反，他们将首先映射rdd来反转元组成员，然后使用rdd.reduceByKey（）。

Answer 1

RDD.sortBy ，与RDD相关的所有其他操作都来自Spark，它不属于Scala标准库。 由于RDD的整个概念都来自Spark，因此没有适用于RDD的标准Scala方法。