使用Datastax Spark Cassandra Connector將PairDStram寫入cassandra

Question

我需要使用Java和Datastax Spark Cassandra Connector將我的過濾流的數據寫入cassandra。

我按照datastax java文檔 。

該文檔解釋了如何將編寫RDD寫入cassandra，而不是如何編寫Dstream。

我需要能夠保存一個PairDStream，我不知道該怎么做，因為所有的例子都是用scala編寫的。

我需要在java的代碼中轉換以scala編寫的代碼：

val wc = stream.flatMap(_.split("\\s+"))
    .map(x => (x, 1))
    .reduceByKey(_ + _)
    .saveToCassandra("streaming_test", "words", SomeColumns("word", "count")) 

基本上我必須保存JavaPairDStream<String, Integer>

Answer 1

解決方案，以防任何人尋找答案

要將DStream或JavaDStream寫入Cassandra，需要導入：

import static com.datastax.spark.connector.japi.CassandraStreamingJavaUtil.*;

並使用javaFunctions(DStream<T> arg0)或javaFunctions(JavaDStream<T> arg0)