加入spark时如何跳过空的rdd

Question

我想从 Cassandra 获得 2 rdd，然后加入他们。我想跳过空值。

def extractPair(rdd: RDD[CassandraRow]) = {
    rdd.map((row: CassandraRow) => {

     val name = row.getName("name")
     if (name == "")
         None   //join wrong
     else
        (name, row.getUUID("object"))

    })
  }

  val rdd1 = extractPair(cassRdd1)
  val rdd2 = extractPair(cassRdd2)
  val joinRdd = rdd1.join(rdd2)  //"None" join wrong

使用 flatMap 可以解决这个问题，但我想知道如何使用 map 解决这个问题

def extractPair(rdd: RDD[CassandraRow]) = {
        rdd.flatMap((row: CassandraRow) => {

         val name = row.getName("name")
         if (name == "")
             seq()
         else
            Seq((name, row.getUUID("object")))

        })
      }

Answer 1

仅使用map是不可能的。 您需要使用filter进行跟进。 但是您仍然最好将有效结果包装在Some 。 但是，那么您仍然会将它包裹在 Some 中，结果……需要第二张map来解开它。 所以，实际上，你最好的选择是这样的：

def extractPair(rdd: RDD[CassandraRow]) = {
  rdd.flatMap((row: CassandraRow) => {
    val name = row.getName("name")
    if (name == "") None
    else Some((name, row.getUUID("object")))
  })
}

Option可隐式转换为可展平的类型，并更好地传达您的方法消息。