Spark：如何使用join方法？

Question

现在我有2个RDD要加入，但是当我键入“ .join”时，我的IDE找不到此符号，它告诉我“无法解析符号加入”。我已经使用过maven来构建项目并重新导入函数来处理我的问题。依赖性。 我错过了一些依赖吗？ 有人可以告诉我如何解决吗？ 谢谢！

Answer 1

您需要通过导入org.apache.spark.SparkContext._来启用Spark隐式转换，以访问（键，值）对的RDD上可用的额外功能。

import org.apache.spark.SparkContext._

val p1: RDD[(K, V)] = ...
val p2: RDD[(K, W)] = ...
val joined: RDD[(K, (V, W))] = p1.join(p2)