使用Datastax Spark Cassandra Connector将PairDStram写入cassandra

Question

我需要使用Java和Datastax Spark Cassandra Connector将我的过滤流的数据写入cassandra。

我按照datastax java文档 。

该文档解释了如何将编写RDD写入cassandra，而不是如何编写Dstream。

我需要能够保存一个PairDStream，我不知道该怎么做，因为所有的例子都是用scala编写的。

我需要在java的代码中转换以scala编写的代码：

val wc = stream.flatMap(_.split("\\s+"))
    .map(x => (x, 1))
    .reduceByKey(_ + _)
    .saveToCassandra("streaming_test", "words", SomeColumns("word", "count")) 

基本上我必须保存JavaPairDStream<String, Integer>

Answer 1

解决方案，以防任何人寻找答案

要将DStream或JavaDStream写入Cassandra，需要导入：

import static com.datastax.spark.connector.japi.CassandraStreamingJavaUtil.*;

并使用javaFunctions(DStream<T> arg0)或javaFunctions(JavaDStream<T> arg0)