如何使用spark-cassandra-connector实现LEFT或RIGHT JOIN

Question

我有火花流工作。 我正在使用Cassandra作为数据存储。 我有需要与cassandra表一起加入的流。 我正在使用spark-cassandra-connector，有一个很棒的方法joinWithCassandraTable ，据我所知，使用cassandra表实现内部联接

val source: DStream[...] = ...
source.foreachRDD { rdd =>
  rdd.joinWithCassandraTable( "keyspace", "table" ).map{ ...
  }
}

因此，问题是如何使用cassandra表实现左外部联接？

提前致谢

Answer 1

当前不支持此功能，但是有介绍该功能的票证。 如果您希望将来引入它，请对其进行投票。

https://datastax-oss.atlassian.net/browse/SPARKC-181

故障单中建议了一种解决方法

Answer 2

正如RussS提到的那样，该功能在spark-cassandra-connector驱动程序中尚不可用。 因此，作为解决方法，我提出了以下代码片段。

rdd.foreachPartition { partition =>
     CassandraConnector(rdd.context.getConf).withSessionDo { session =>
       for (
         leftSide <- partition;
         rightSide <- {
           val rs = session.execute(s"""SELECT * FROM "keyspace".table where id = "${leftSide._2}"""")
           val iterator = new PrefetchingResultSetIterator(rs, 100)
           if (iterator.isEmpty) Seq(None)
           else iterator.map(r => Some(r.getString(1)))
         }
       ) yield (leftSide, rightSide)
     }
   }