在Scala，Spark中连接两个（成对）RDD

Question

根据此处提供的答案，我正在尝试加入两个配对的RDD

连接两个RDD [String] -Spark Scala

我收到一个错误

错误：值leftOuterJoin不是org.apache.spark.rdd.RDD的成员

代码段如下。

val pairRDDTransactions = parsedTransaction.map 
     {
              case ( field3, field4, field5, field6, field7,
           field1, field2, udfChar1, udfChar2, udfChar3) => 
             ((field1, field2), field3, field4, field5, 
                 field6, field7, udfChar1, udfChar2, udfChar3)   
     }      



val pairRDDAccounts  = parsedAccounts.map
     {
       case (field8, field1, field2, field9, field10 ) =>
         ((field1, field2), field8, field9, field10)

     }  



val transactionAddrJoin = pairRDDTransactions.leftOuterJoin(pairRDDAccounts).map {       
       case ((field1, field2), (field3, field4, field5, field6,
           field7, udfChar1, udfChar2, udfChar3, field8, field9, field10)) =>
             (field1, field2, field3, field4, field5, field6,
           field7, udfChar1, udfChar2, udfChar3, field8, field9, field10)           

 }

在这种情况下，field1和field 2是我要在其上执行联接的键。

Answer 1

为RDD[(K, V)] （ Tuple2对象的RDD定义了联接。但是，在您的情况下，存在任意元组（ Tuple4[_, _, _, _]和Tuple8[_, _, _, _, _, _, _, _] ）-这是行不通的。

你应该

... => 
  ((field1, field2), 
     (field3, field4, field5, field6, field7, udfChar1, udfChar2, udfChar3)   

和

... =>
  ((field1, field2), (field8, field9, field10))

分别。